일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- 프로그래머스
- 삼성역맛집
- Kafka
- 백준
- 용인맛집
- java
- 알고리즘
- 자바
- 맛집
- 코엑스맛집
- Data Engineering
- HIVE
- 코딩
- bigdata engineer
- Data Engineer
- 영어
- 코엑스
- pyspark
- 코테
- Trino
- Spark
- hadoop
- 여행
- 개발
- 코딩테스트
- Apache Kafka
- apache iceberg
- bigdata engineering
- BigData
- Iceberg
- Today
- Total
목록데이터 엔지니어링 정복/Python (27)
지구정복

출처 : https://wikidocs.net/35958 -트위치 영상 다운받기 #https://www.twitch.tv/jung_ekko/video/725902601 from selenium import webdriver import time driver = webdriver.Chrome('chromedriver') driver.get('https://www.twitch.tv/jung_ekko/video/725902601') time.sleep(3) #video태그 확인, 추출할 요소의 태그가 video하나뿐인 명확한 태그이므로 xpath를 사용하지 않는다. url_element = driver.find_element_by_tag_name('video') vid_url = url_element.get_..

출처 : https://wikidocs.net/35955 -순발력게임 selenium으로 실행하기 이번에는 순발력 게임을 셀리니움을 이용해서 실행해보자. 순발력게임 링크는 여기 -> https://zzzscore.com/1to50/ 아래처럼 각 div에서 XPath를 누른다. (XPath는 XML 문서의 특정 요소나 속성에 접근하기 위한 경로를 지정하는 언어이다) 복사해서 붙여넣어보면 아래처럼 div의 순서가 25까지 있는 것을 알 수 있다. 이제 아래코드로 작성해서 게임을 해보자. #//*[@id="grid"]/div[1] #//*[@id="grid"]/div[2] #//*[@id="grid"]/div[3] #//*[@id="grid"]/div[25] from selenium import webdriv..

1. 크롬 설치돼 있어야 한다. 2. chromedriver를 다운받아야 한다. 먼저 selenium을 설치한다. root계정으로 설치한다. [root@localhost ~]# pip3 install selenium 그리고 크롬을 다운받는다. (Linux CentOS 7버전인 경우) wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 크롬 다운을 다 받았으면 크롬을 시스템에 입력한다. yum localinstall google-chrome-stable_current_x86_64.rpm 크롬 설치 완료! 다음으로 리눅스에서 아래 웹사이트에 접속해서 chromedriver 다운받는다. http://chromedrive..

먼저 pip3를 이용해서 requests랑 BeautifulSoup4를 설치한다. pip3 설치는 아래글 참고 https://earthconquest.tistory.com/224 pip3 install requests pip3 install BeautifulSoup4 개발도구는 이클립스에 Pedev를 사용한다. 이클립스 상단 메뉴 - window - preperence - PyDev - Interpreters - Python Interpreter /usr/bin/에 있는 것을 클릭한다. 그리고 Apply and Close -네이버 검색어에 '날씨'입력하고 거기서 미세먼지랑 초미세먼지 크롤링하기 ''' Created on 2021. 5. 16. @author: master ''' from bs4 impor..