초보자를 위한 Windows 10에서 VS Code를 사용한 Python 웹 스크래핑 환경 설정 가이드


초보자를 위한 Windows 10에서 VS Code를 사용한 Python 웹 스크래핑 환경 설정 가이드

Python 웹 스크래핑 환경 설정하기

이 가이드는 Windows 10에서 Visual Studio Code (VS Code)를 사용하여 Python 웹 스크래핑 환경을 설정하는 방법을 단계별로 설명합니다.

 

1. Python 설치하기

Python 공식 웹사이트에서 안정 버전 중 하나인3.10버전(페이지 하단의 ‘Windows installer (64-bit)을 다운로드하고 설치합니다. 설치 시 꼭 “Add Python to PATH” 옵션을 선택하세요.

 

2. Visual Studio Code 설치하기

VS Code가 없다면 공식 웹사이트에서 다운로드하여 설치합니다.

 

3. Python 프로젝트 설정하기

VS Code를 열고 새 프로젝트 폴더를 생성한 후, 새 터미널에서 Python 가상 환경을 설정합니다.

단계 1: 새 프로젝트 폴더 생성

  1. 화면 상단 메뉴에서 “파일 (File)”을 클릭합니다.
  2. “파일 (File)” 메뉴에서 “폴더 열기 (Open Folder)”를 선택합니다.
  3. 파일 탐색기가 열리면, 프로젝트를 저장할 원하는 위치를 선택합니다. 예를 들어, “내 문서 (Documents)” 폴더를 선택하겠습니다.
  4. 선택한 폴더 안에서 “새 폴더 만들기” 옵션을 선택하고, 폴더 이름으로 “WebCrawling”를 입력합니다.
  5. “선택 폴더 (Select Folder)”를 클릭하여 “WebCrawling” 폴더를 프로젝트 폴더로 설정합니다.

 

단계 2: 프로젝트 폴더에서 작업하기

  1. 이제 “WebCrawling” 프로젝트 폴더가 VS Code에 열립니다. 여기서 필요한 파일을 만들고 코드를 작성하여 개발을 시작할 수 있습니다.

 

새 터미널을 열면 프로젝트 폴더에서 터미널을 실행할 수 있습니다. 이를 통해 Python 가상 환경을 활성화하고 프로젝트 관련 작업을 수행할 수 있습니다.

 

단계 3: 새 터미널 열기

  1. VS Code의 하단 패널에서 “터미널 (Terminal)” 아이콘을 클릭합니다. 이 아이콘은 일반적으로 + 또는 > 기호로 표시됩니다.
  2. 클릭하면 새 터미널 패널이 열리며, 여기서 명령어를 실행할 수 있습니다.

가상 환경 설정 이유: 가상 환경은 프로젝트별로 독립된 Python 환경을 제공합니다. 이를 통해 프로젝트의 특정 요구사항에 맞는 패키지 버전을 관리할 수 있으며, 다른 프로젝트와의 충돌을 방지할 수 있습니다. 아래 코드를 차례대로 실행한 후 잠시 기다리면 (python310_venv)로 시작하는 가상환경이 시작됩니다.

python -m venv python310_venv
.\python310_venv\Scripts\activate

 

4. Selenium 설치하기

가상 환경에서 Selenium 웹 드라이버를 설치합니다.

pip install selenium

 

5. ChromeDriver 다운로드 및 설정하기

  1. Google Chrome 버전 확인하기: Chrome을 열고 오른쪽 상단의 세 점 모양 메뉴를 클릭한 다음 ‘도움말’ > ‘Google Chrome 정보’에서 버전을 확인합니다.
  2. ChromeDriver 다운로드하기: [ChromeDriver 다운로드 페이지](https://chromedriver.chromium.org/downloads)로 이동하여 사용 중인 Chrome 버전과 일치하는 ChromeDriver를 다운로드합니다.
  3. 버전이 115 이상일 경우 ChromeDriver 다운로드 페이지에서 ‘Stable’버전의 ChromeDriver win64로 다운로드 합니다.
  4. ChromeDriver 설치하기: 다운로드한 `.zip` 파일을 압축 해제하고 내부 파일을 `C:\WebDriver\bin`과 같은 알기 쉬운 위치에 저장합니다.

 







 

6. 시스템 PATH에 ChromeDriver 추가하기

  1. ‘환경 변수’ 창 열기: Windows 검색 창에서 ‘환경 변수 편집’을 검색하고 ‘시스템 속성’에서 ‘고급’ 탭 > ‘환경 변수’를 선택합니다.
  2. ‘Path’ 편집하기: ‘시스템 변수’에서 ‘Path’를 찾아 ‘편집’을 클릭합니다.
  3. ChromeDriver 경로 추가하기: ‘새로 만들기’를 클릭하고, ChromeDriver의 저장 경로(C:\WebDriver\bin)를 입력한 후 ‘확인’을 클릭합니다.

 

7. Python 스크립트에서 ChromeDriver 설정하기

VS Code에서 생성한 프로젝트 WebCrawling에서 프로젝트 이름에 커서를 가져가면 나오는 아이콘 중, New file 아이콘을 눌른 후 ‘WebCrawling.py’로 이름을 지정 후 엔터를 누르면 파이썬 파일이 생성됩니다.

‘WebCrawling.py’에 아래 Python 스크립트로 ChromeDriver 경로를 설정 후 저장합니다.

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# ChromeDriver 경로 설정. Python에서는 역슬래시(\)를 이스케이프 문자로 인식하기 때문에
# 파일 경로를 나타낼 때는 각 역슬래시를 두 번씩 써야 합니다 (예: \\).
# 여기서 "C:\\WebDriver\\bin\\chromedriver.exe"는 ChromeDriver가 설치된 경로입니다.
# 이 경로는 사용자의 시스템에 따라 달라질 수 있으므로, 실제 ChromeDriver 설치 경로에 맞게 수정해야 합니다.
chrome_driver_path = "C:\\WebDriver\\bin\\chromedriver.exe"
service = Service(executable_path=chrome_driver_path)
driver = webdriver.Chrome(service=service)

 

VS Code의 터미널에서 아래 명령어를 입력하면 ‘WebCrawling.py’파일이 생성된 리스트를 볼 수 있습니다.

ls

 

VS Code의 터미널에서 아래 명령어를 입력하면 잠시 후 ‘DevTools listening on ws://…’로 시작하는 결과값이 나오는 것을 확인 할 수 있습니다.

python .\WebCrawling.py

 

8. 웹 스크래핑 코드 작성하기

추후 Python 웹 스크래핑 코드 작성에 대한 자세한 지침을 제공할 예정입니다.

 

9. 가상 환경 종료하기

작업이 끝나면 VS Code 터미널에서 가상 환경을 비활성화합니다. 아래 명령어를 실행하면 경로 앞의 ‘(python310_venv)’가 사라지는 것을 볼 수 있습니다.

deactivate

VS Code 터미널에서 가상 환경을 다시 활성화하려면 다음 명령으로 활성화합니다.

.\python310_venv\Scripts\activate