| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- 영어
- 삼성역맛집
- Kafka
- 프로그래머스
- java
- hadoop
- Linux
- 개발
- Trino
- HIVE
- 알고리즘
- 용인맛집
- BigData
- 백준
- 코엑스맛집
- bigdata engineer
- Iceberg
- 코테
- Data Engineering
- 코딩
- pyspark
- Data Engineer
- 여행
- 맛집
- Spark
- 자바
- 코딩테스트
- Apache Kafka
- apache iceberg
- bigdata engineering
- Today
- Total
목록데이터 엔지니어링 정복 (430)
지구정복
[Python] 리눅스CentOS 7에서 파이썬으로 웹 크롤링하기 4 (selenium - 네이버 로그인하기)
아래처럼 네이버 로그인url에 접속한 뒤 name태그를 이용해서 값을 넣어준다. 그리고 로그인 버튼은 xpath값을 가져와서 click()이벤트를 실행한다. 아래와 같이 코드를 작성한다. #https://nid.naver.com/nidlogin.login from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Chrome('chromedriver') driver.get('https://nid.naver.com/nidlogin.login') driver.implicitly_wait( 300 ) #//*[@id="log.login"] driver.find_element_by_name('id').send_keys('hoee..
[Python] 리눅스CentOS 7에서 파이썬으로 웹 크롤링하기 3 (selenium - 트위치 영상 다운로드하기)
출처 : https://wikidocs.net/35958 -트위치 영상 다운받기 #https://www.twitch.tv/jung_ekko/video/725902601 from selenium import webdriver import time driver = webdriver.Chrome('chromedriver') driver.get('https://www.twitch.tv/jung_ekko/video/725902601') time.sleep(3) #video태그 확인, 추출할 요소의 태그가 video하나뿐인 명확한 태그이므로 xpath를 사용하지 않는다. url_element = driver.find_element_by_tag_name('video') vid_url = url_element.get_..
[Python] 리눅스CentOS 7에서 파이썬으로 웹 크롤링하기 2 (selenium- css태그)
출처 : https://wikidocs.net/35955 -순발력게임 selenium으로 실행하기 이번에는 순발력 게임을 셀리니움을 이용해서 실행해보자. 순발력게임 링크는 여기 -> https://zzzscore.com/1to50/ 아래처럼 각 div에서 XPath를 누른다. (XPath는 XML 문서의 특정 요소나 속성에 접근하기 위한 경로를 지정하는 언어이다) 복사해서 붙여넣어보면 아래처럼 div의 순서가 25까지 있는 것을 알 수 있다. 이제 아래코드로 작성해서 게임을 해보자. #//*[@id="grid"]/div[1] #//*[@id="grid"]/div[2] #//*[@id="grid"]/div[3] #//*[@id="grid"]/div[25] from selenium import webdriv..
[Python] 리눅스CentOS 7에서 파이썬으로 웹 크롤링하기 (selenium - 유튜브 검색하기)
1. 크롬 설치돼 있어야 한다. 2. chromedriver를 다운받아야 한다. 먼저 selenium을 설치한다. root계정으로 설치한다. [root@localhost ~]# pip3 install selenium 그리고 크롬을 다운받는다. (Linux CentOS 7버전인 경우) wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 크롬 다운을 다 받았으면 크롬을 시스템에 입력한다. yum localinstall google-chrome-stable_current_x86_64.rpm 크롬 설치 완료! 다음으로 리눅스에서 아래 웹사이트에 접속해서 chromedriver 다운받는다. http://chromedrive..