반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- HIVE
- 백준
- 영어
- 코딩테스트
- Apache Kafka
- bigdata engineer
- bigdata engineering
- 자바
- 삼성역맛집
- 프로그래머스
- Kafka
- 코테
- BigData
- hadoop
- 용인맛집
- 맛집
- Linux
- pyspark
- 알고리즘
- Iceberg
- apache iceberg
- java
- Data Engineering
- Data Engineer
- 여행
- 코딩
- Trino
- 코엑스맛집
- Spark
- 개발
Archives
- Today
- Total
728x90
반응형
목록2025/06/05 (2)
지구정복
[HDFS] 적정 heap memory
아래는 클라우데라에서 제공하는 파일 개수별 메모리 권장 사항입니다.Number of Files , in MillionsTotal Java Heap (Xmx and Xms)Young Generation Size (-XX:NewSize -XX:MaxNewSize)1126m128m1-5 million files3379m512m5-105913m768m10-2010982m1280m20-30 16332m2048m30-4021401m2560m40-5026752m3072m50-7036889m4352m70-10052659m6144m100-12565612m7680m125-15078566m8960m150-200104473m8960m 공식 문서 https://docs.cloudera.com/runtime/7.3.1..
데이터 엔지니어링 정복/HDFS
2025. 6. 5. 17:26
[Linux] 쉘스크립트에서 현재 실행중인 명령어 출력시키기
아래 내용을 추가해준다.#!/bin/bashexport PS4='+ $(date "+%T") [Line:$LINENO] 'set -xecho "Starting"sleep 1echo "Done" 실행하면 아래와 같이 출력된다.+ 12:34:56 [Line:5] echo Starting+ 12:34:57 [Line:6] sleep 1+ 12:34:58 [Line:7] echo Done
데이터 엔지니어링 정복/Linux
2025. 6. 5. 09:45
반응형