[Python] 리눅스CentOS 7에서 파이썬으로 웹 크롤링하기 (selenium - 유튜브 검색하기)

1. 크롬 설치돼 있어야 한다.

2. chromedriver를 다운받아야 한다.

 

 

먼저 selenium을 설치한다. root계정으로 설치한다.

[root@localhost ~]# pip3 install selenium

 

그리고 크롬을 다운받는다. (Linux CentOS 7버전인 경우)

wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

크롬 다운을 다 받았으면 크롬을 시스템에 입력한다.

yum localinstall google-chrome-stable_current_x86_64.rpm

크롬 설치 완료!

 

 

 

 

다음으로 리눅스에서 아래 웹사이트에 접속해서 chromedriver 다운받는다.

http://chromedriver.chromium.org/

 

 

그리고 크롬의 버전을 확인한다.

나는 90버전이니깐 chromedriver도 90버전으로 다운받는다.

 

그리고 linux64버전 클릭!

이제 압축풀러 가즈아. x-window에서 해도 되지만 리눅스도 익숙해질겸 터미널로 ㄱㄱ

[root@localhost ~]# cd /home/master/다운로드/
[root@localhost 다운로드]# ls -all
[root@localhost 다운로드]# unzip -xvf chromedriver_linux64.zip 

아래와 같이 파일 하나가 풀렸고, 이 파일을 /usr/local/bin으로 옮겨줘야된다.

윈도우에서는 그냥 chromedriver가 있는 곳의 절대경로를 지정하면 된다고 한다.

[root@localhost 다운로드]# cd /home/master/다운로드/
[root@localhost 다운로드]# mv chromedriver /usr/local/bin/

 

 

 

 

이제 실제로 사용해보자~

 

-유튜브 키워드 검색하기

유튜브 검색창 우클릭 - 검사

파란색 코드부분 우클릭 - Copy - Copy XPath

 

 

해당 내용을 파이썬 코드 안에 아래와 같이 작성한다.

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome('chromedriver')
driver.get("https://www.youtube.com/")


time.sleep(3)

#검색어 창을 찾아 search 변수에 저장
search = driver.find_element_by_xpath('//*[@id="search"]')

#search 변수에 저장된 곳에 값을 전송
search.send_keys('iu coin')
time.sleep(1)

#search 변수에 저장된 곳에 엔터를 입력
search.send_keys(Keys.ENTER)

실행하면 선언한 시간 뒤에 유튜브 검색이 된다. 아래처럼~

아이유 ㅎㅎ