python과 selenium를 활용한 웹 크롤링에 대해 알아보겠습니다.
selenium은 다양한 브라우저(Chrome, Internet, Edge, Firefox, Opera, Safari)를 지원합니다.
selenium을 활용하면 웹페이지 정보 수집도 가능하고 원하는 웹 자동화 프로그램을 작성할 수 있습니다.
예제에서는 chrome 브라우저를 사용합니다.

selenium 크롤링 phyton

chrome-driver 다운로드

chrome브라우저를 사용하기 위해 chromedriver를 chrome 버전에 맞게 다운로드 받아야합니다.


pip selenium 설치

pip를 이용하여 selelnium을 사용하기 위해 selenium를 설치해줍니다.

$ pip install selenium

selenium python 페이지 열기

from selenium import webdriver import time # 1. chromedriver 경로 설정 driver = webdriver.Chrome('./chromedriver') # 2. google 사이트 열기 driver.get("https://google.com") # 3. 3초 후에 브라우저 종료 time.sleep(3) driver.close()

chromedriver가 다른 경로에 있다면 chromedriver path를 설정합니다.

구글 페이지 열기


python에서 chromedriver와 selenium을 활용하여 브라우저를 오픈하고 원하는 주소로 이동하는 방법에 대해 알아보았습니다.
다음에는 원하는 DOM Elements를 찾고 입력하는 방법들에 대해 알아보겠습니다.

[Selenium] - selenium WebElement python
[Selenium] - selenium element selector python

'Selenium' 카테고리의 다른 글

selenium element timeout/wait By nodejs  (0) 2021.01.18
selenium WebElement python  (0) 2021.01.14
selenium element selector By nodejs  (0) 2021.01.12
selenium element 찾기 nodejs  (0) 2021.01.12
selenium 크롤링 nodejs - 브라우저 열기  (3) 2021.01.11

+ Recent posts