| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- Data Engineer
- 개발
- Apache Kafka
- 자바
- 코딩테스트
- 프로그래머스
- Iceberg
- 맛집
- Trino
- 여행
- 알고리즘
- hadoop
- Linux
- 영어
- 삼성역맛집
- HDFS
- bigdata engineer
- 코테
- Data Engineering
- 코엑스맛집
- Spark
- HIVE
- BigData
- pyspark
- 코딩
- 백준
- java
- Kafka
- bigdata engineering
- apache iceberg
- Today
- Total
목록TwitterAPI (2)
지구정복
[Hadoop & Hive & Presto] 일일 Twitter 데이터 배치 처리하기 | 빅데이터를 지탱하는 기술
* 참고: 빅데이터를 지탱하는 기술(책) * 환경 윈도우10 버추얼박스 5.2.44 리눅스 CentOS 7.9.2009 자바 버전: openjdk version "1.8.0_292" Embulk 버전: Hadoop 버전: Hive 버전:Presto 버전:MongoDB 버전: 4.4 자바는 아래 블로거님 글 참고 https://bamdule.tistory.com/57 [Linux] CentOS 7에 OpenJDK 1.8 설치 1. open-jdk 1.8 설치 # yum install java-1.8.0-openjdk # yum install java-1.8.0-openjdk-devel 설치가 완료되면 /usr/bin/경로에 java가 생성됩니다. 2. 환경변수 등록 /usr/bin/java 경로에 심볼릭링..
[Python & MongoDB & Spark] Twitter내용 데이터 분석하기 | 빅데이터를 지탱하는 기술
출처 : 빅데이터를 지탱하는 기술(책) 아래 실습을 따라하시려면 버전을 모두 맞춰주세요! 안 그러면 에러와 씨름합니다. ㅎ * 환경 윈도우10 버추얼박스 1개 머신에 CentOS 7.9.2009 설치하고 진행 자바 버전: openjdk version "1.8.0_292" 파이썬 버전: Python 3.6.8 jdk1.8설치는 아래 블로거님 글 참고 https://bamdule.tistory.com/57 [Linux] CentOS 7에 OpenJDK 1.8 설치 1. open-jdk 1.8 설치 # yum install java-1.8.0-openjdk # yum install java-1.8.0-openjdk-devel 설치가 완료되면 /usr/bin/경로에 java가 생성됩니다. 2. 환경변수 등록 /..