목록데이터 엔지니어링 정복/Python (27)
지구정복
출처 : https://wikidocs.net/35958 -트위치 영상 다운받기 #https://www.twitch.tv/jung_ekko/video/725902601 from selenium import webdriver import time driver = webdriver.Chrome('chromedriver') driver.get('https://www.twitch.tv/jung_ekko/video/725902601') time.sleep(3) #video태그 확인, 추출할 요소의 태그가 video하나뿐인 명확한 태그이므로 xpath를 사용하지 않는다. url_element = driver.find_element_by_tag_name('video') vid_url = url_element.get_..
출처 : https://wikidocs.net/35955 -순발력게임 selenium으로 실행하기 이번에는 순발력 게임을 셀리니움을 이용해서 실행해보자. 순발력게임 링크는 여기 -> https://zzzscore.com/1to50/ 아래처럼 각 div에서 XPath를 누른다. (XPath는 XML 문서의 특정 요소나 속성에 접근하기 위한 경로를 지정하는 언어이다) 복사해서 붙여넣어보면 아래처럼 div의 순서가 25까지 있는 것을 알 수 있다. 이제 아래코드로 작성해서 게임을 해보자. #//*[@id="grid"]/div[1] #//*[@id="grid"]/div[2] #//*[@id="grid"]/div[3] #//*[@id="grid"]/div[25] from selenium import webdriv..
1. 크롬 설치돼 있어야 한다. 2. chromedriver를 다운받아야 한다. 먼저 selenium을 설치한다. root계정으로 설치한다. [root@localhost ~]# pip3 install selenium 그리고 크롬을 다운받는다. (Linux CentOS 7버전인 경우) wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 크롬 다운을 다 받았으면 크롬을 시스템에 입력한다. yum localinstall google-chrome-stable_current_x86_64.rpm 크롬 설치 완료! 다음으로 리눅스에서 아래 웹사이트에 접속해서 chromedriver 다운받는다. http://chromedrive..
먼저 pip3를 이용해서 requests랑 BeautifulSoup4를 설치한다. pip3 설치는 아래글 참고 https://earthconquest.tistory.com/224 pip3 install requests pip3 install BeautifulSoup4 개발도구는 이클립스에 Pedev를 사용한다. 이클립스 상단 메뉴 - window - preperence - PyDev - Interpreters - Python Interpreter /usr/bin/에 있는 것을 클릭한다. 그리고 Apply and Close -네이버 검색어에 '날씨'입력하고 거기서 미세먼지랑 초미세먼지 크롤링하기 ''' Created on 2021. 5. 16. @author: master ''' from bs4 impor..