Python 웹 스크래핑 환경 설정하기
이 가이드는 Windows 10에서 Visual Studio Code (VS Code)를 사용하여 Python 웹 스크래핑 환경을 설정하는 방법을 단계별로 설명합니다.
1. Python 설치하기
Python 공식 웹사이트에서 안정 버전 중 하나인3.10버전(페이지 하단의 ‘Windows installer (64-bit)을 다운로드하고 설치합니다. 설치 시 꼭 “Add Python to PATH” 옵션을 선택하세요.
2. Visual Studio Code 설치하기
VS Code가 없다면 공식 웹사이트에서 다운로드하여 설치합니다.
3. Python 프로젝트 설정하기
VS Code를 열고 새 프로젝트 폴더를 생성한 후, 새 터미널에서 Python 가상 환경을 설정합니다.
단계 1: 새 프로젝트 폴더 생성
- 화면 상단 메뉴에서 “파일 (File)”을 클릭합니다.
- “파일 (File)” 메뉴에서 “폴더 열기 (Open Folder)”를 선택합니다.
- 파일 탐색기가 열리면, 프로젝트를 저장할 원하는 위치를 선택합니다. 예를 들어, “내 문서 (Documents)” 폴더를 선택하겠습니다.
- 선택한 폴더 안에서 “새 폴더 만들기” 옵션을 선택하고, 폴더 이름으로 “WebCrawling”를 입력합니다.
- “선택 폴더 (Select Folder)”를 클릭하여 “WebCrawling” 폴더를 프로젝트 폴더로 설정합니다.
단계 2: 프로젝트 폴더에서 작업하기
- 이제 “WebCrawling” 프로젝트 폴더가 VS Code에 열립니다. 여기서 필요한 파일을 만들고 코드를 작성하여 개발을 시작할 수 있습니다.
새 터미널을 열면 프로젝트 폴더에서 터미널을 실행할 수 있습니다. 이를 통해 Python 가상 환경을 활성화하고 프로젝트 관련 작업을 수행할 수 있습니다.
단계 3: 새 터미널 열기
- VS Code의 하단 패널에서 “터미널 (Terminal)” 아이콘을 클릭합니다. 이 아이콘은 일반적으로 + 또는 > 기호로 표시됩니다.
- 클릭하면 새 터미널 패널이 열리며, 여기서 명령어를 실행할 수 있습니다.
가상 환경 설정 이유: 가상 환경은 프로젝트별로 독립된 Python 환경을 제공합니다. 이를 통해 프로젝트의 특정 요구사항에 맞는 패키지 버전을 관리할 수 있으며, 다른 프로젝트와의 충돌을 방지할 수 있습니다. 아래 코드를 차례대로 실행한 후 잠시 기다리면 (python310_venv)로 시작하는 가상환경이 시작됩니다.
python -m venv python310_venv
.\python310_venv\Scripts\activate
4. Selenium 설치하기
가상 환경에서 Selenium 웹 드라이버를 설치합니다.
pip install selenium
5. ChromeDriver 다운로드 및 설정하기
- Google Chrome 버전 확인하기: Chrome을 열고 오른쪽 상단의 세 점 모양 메뉴를 클릭한 다음 ‘도움말’ > ‘Google Chrome 정보’에서 버전을 확인합니다.
- ChromeDriver 다운로드하기: [ChromeDriver 다운로드 페이지](https://chromedriver.chromium.org/downloads)로 이동하여 사용 중인 Chrome 버전과 일치하는 ChromeDriver를 다운로드합니다.
- 버전이 115 이상일 경우 ChromeDriver 다운로드 페이지에서 ‘Stable’버전의 ChromeDriver win64로 다운로드 합니다.
- ChromeDriver 설치하기: 다운로드한 `.zip` 파일을 압축 해제하고 내부 파일을 `C:\WebDriver\bin`과 같은 알기 쉬운 위치에 저장합니다.
6. 시스템 PATH에 ChromeDriver 추가하기
- ‘환경 변수’ 창 열기: Windows 검색 창에서 ‘환경 변수 편집’을 검색하고 ‘시스템 속성’에서 ‘고급’ 탭 > ‘환경 변수’를 선택합니다.
- ‘Path’ 편집하기: ‘시스템 변수’에서 ‘Path’를 찾아 ‘편집’을 클릭합니다.
- ChromeDriver 경로 추가하기: ‘새로 만들기’를 클릭하고, ChromeDriver의 저장 경로(C:\WebDriver\bin)를 입력한 후 ‘확인’을 클릭합니다.
7. Python 스크립트에서 ChromeDriver 설정하기
VS Code에서 생성한 프로젝트 WebCrawling에서 프로젝트 이름에 커서를 가져가면 나오는 아이콘 중, New file 아이콘을 눌른 후 ‘WebCrawling.py’로 이름을 지정 후 엔터를 누르면 파이썬 파일이 생성됩니다.
‘WebCrawling.py’에 아래 Python 스크립트로 ChromeDriver 경로를 설정 후 저장합니다.
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
# ChromeDriver 경로 설정. Python에서는 역슬래시(\)를 이스케이프 문자로 인식하기 때문에
# 파일 경로를 나타낼 때는 각 역슬래시를 두 번씩 써야 합니다 (예: \\).
# 여기서 "C:\\WebDriver\\bin\\chromedriver.exe"는 ChromeDriver가 설치된 경로입니다.
# 이 경로는 사용자의 시스템에 따라 달라질 수 있으므로, 실제 ChromeDriver 설치 경로에 맞게 수정해야 합니다.
chrome_driver_path = "C:\\WebDriver\\bin\\chromedriver.exe"
service = Service(executable_path=chrome_driver_path)
driver = webdriver.Chrome(service=service)
VS Code의 터미널에서 아래 명령어를 입력하면 ‘WebCrawling.py’파일이 생성된 리스트를 볼 수 있습니다.
ls
VS Code의 터미널에서 아래 명령어를 입력하면 잠시 후 ‘DevTools listening on ws://…’로 시작하는 결과값이 나오는 것을 확인 할 수 있습니다.
python .\WebCrawling.py
8. 웹 스크래핑 코드 작성하기
추후 Python 웹 스크래핑 코드 작성에 대한 자세한 지침을 제공할 예정입니다.
9. 가상 환경 종료하기
작업이 끝나면 VS Code 터미널에서 가상 환경을 비활성화합니다. 아래 명령어를 실행하면 경로 앞의 ‘(python310_venv)’가 사라지는 것을 볼 수 있습니다.
deactivate
VS Code 터미널에서 가상 환경을 다시 활성화하려면 다음 명령으로 활성화합니다.
.\python310_venv\Scripts\activate