| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- Data Engineer
- apache iceberg
- Data Engineering
- Apache Kafka
- 알고리즘
- 여행
- 삼성역맛집
- hadoop
- bigdata engineer
- bigdata engineering
- Linux
- Spark
- 백준
- 영어
- 개발
- 코딩테스트
- HIVE
- Iceberg
- 프로그래머스
- 코테
- pyspark
- BigData
- HDFS
- Trino
- 자바
- 코딩
- java
- 코엑스맛집
- 맛집
- Kafka
- Today
- Total
목록Data Engineering (21)
지구정복
공식문서내용 번역: https://spark.apache.org/docs/latest/streaming/getting-started.html 1. 워드카운트 예제개념을 배우기 전에 예제를 통해서 무엇인지 간단히 알아본다. 아래와 같이 스파크 세션 생성(파이썬 사용)from pyspark.sql import SparkSessionfrom pyspark.sql.functions import explodefrom pyspark.sql.functions import splitspark = SparkSession \ .builder \ .appName("StructuredNetworkWordCount") \ .getOrCreate() 다음으로 Socket의 9999포트를 통해 데이터를 받는다고 가..
참고문서: https://docs.cloudera.com/runtime/7.3.1/scaling-namespaces/topics/hdfs-config-heterogeneous-storage.html 데이터 노드에 사용될 실제 서버의 디렉터리(ex: /hadoop/disk1/, /hadoop/disk2)를 특정 디스크 타입으로 마운트하고이를 HDFS상에서 해당 디렉터리가 HDD인지 SSD인지 등을 설정할 수 있다. HDFS storage types먼저 HDFS에서 사용가능한 스토리지 타입은 다음과 같다. ARCHIVE - Archival storage is for very dense storage and is useful for rarely accessed data. This storage type is..
이빨빠진 번호들도 있습니다참고바랍니다. question 1https://www.examtopics.com/discussions/databricks/view/107311-exam-certified-associate-developer-for-apache-spark-topic-1/question 2https://www.examtopics.com/discussions/databricks/view/104977-exam-certified-associate-developer-for-apache-spark-topic-1/question 3https://www.examtopics.com/discussions/databricks/view/104978-exam-certified-associate-developer-for..
이빨빠진 번호들도 있습니다참고바랍니다. question 1https://www.examtopics.com/discussions/databricks/view/107311-exam-certified-associate-developer-for-apache-spark-topic-1/question 2https://www.examtopics.com/discussions/databricks/view/104977-exam-certified-associate-developer-for-apache-spark-topic-1/question 3https://www.examtopics.com/discussions/databricks/view/104978-exam-certified-associate-developer-for..