| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- apache iceberg
- Iceberg
- 개발
- 백준
- 맛집
- 영어
- 알고리즘
- HIVE
- 프로그래머스
- java
- 용인맛집
- hadoop
- Data Engineering
- Data Engineer
- Kafka
- Trino
- Spark
- Apache Kafka
- 자바
- 삼성역맛집
- bigdata engineering
- 코엑스맛집
- 코딩테스트
- 코엑스
- pyspark
- BigData
- 여행
- 코딩
- 코테
- bigdata engineer
- Today
- Total
목록2025/04/18 (2)
지구정복
[Spark] Dynamic Allocation 사용
Spark 3.4.1 사용중이고 리소스매니저는 Yarn을 사용중이다. Dynamic allocation은 Executor들에게만 적용된다.아래 설정들을 spark-defaults.conf에 해줘야 한다.만약 spark-thrift-sparkconf.conf에 해주면 Thrift server통해서 실행되는 Spark Job에만 적용된다. 공식문서 (3.4.1)https://archive.apache.org/dist/spark/docs/3.4.1/configuration.html#dynamic-allocationhttps://archive.apache.org/dist/spark/docs/3.4.1/job-scheduling.html Dynamic Allocation을 설정하는 방법은 두 가지가 있다.Th..
-환경Spark 3.4.1Iceberg 1.3.1 Hive 3.1.3 현재 Iceberg catalog는 Hive metastore로 사용중이다. 아래와 같이 Spark-sql로 Iceberg table을 생성하고 Drop하려니깐 에러가 발생했다.CREATE TABLE iceberg_test_db.test_tbl ( data STRING, log_timestamp TIMESTAMP)USING icebergPARTITIONED BY (days(log_timestamp))TBLPROPERTIES ( 'read.parquet.vectorization.enabled' = 'true', 'write.metadata.delete-after-commit.enabled' = 'true', 'wri..