반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
Tags
- 코테
- 개발
- 코딩
- Trino
- pyspark
- bigdata engineer
- Data Engineer
- 백준
- HDFS
- BigData
- HIVE
- java
- Apache Kafka
- Iceberg
- Kafka
- 자바
- 알고리즘
- hadoop
- Data Engineering
- 코딩테스트
- Linux
- 삼성역맛집
- Spark
- 영어
- 여행
- 프로그래머스
- 코엑스맛집
- apache iceberg
- 맛집
- bigdata engineering
Archives
- Today
- Total
지구정복
[HDFS] 적정 heap memory 본문
728x90
반응형
아래는 클라우데라에서 제공하는 파일 개수별 메모리 권장 사항입니다.
| Number of Files , in Millions | Total Java Heap (Xmx and Xms) | Young Generation Size (-XX:NewSize -XX:MaxNewSize) |
| < 1 million files | 1126m | 128m |
| 1-5 million files | 3379m | 512m |
| 5-10 | 5913m | 768m |
| 10-20 | 10982m | 1280m |
| 20-30 | 16332m | 2048m |
| 30-40 | 21401m | 2560m |
| 40-50 | 26752m | 3072m |
| 50-70 | 36889m | 4352m |
| 70-100 | 52659m | 6144m |
| 100-125 | 65612m | 7680m |
| 125-150 | 78566m | 8960m |
| 150-200 | 104473m | 8960m |
공식 문서
728x90
반응형
'데이터 엔지니어링 정복 > HDFS' 카테고리의 다른 글
| [HDFS] Storage Type & Policies (0) | 2025.10.15 |
|---|---|
| The directory item limit of /hdfs/directory/test_data is exceeded: limit=1048576 items=1048576 (1) | 2025.06.25 |
| [HDFS] Erasure Coding (0) | 2023.05.12 |
| [HDFS&MR] (역대급삽질) Execute Hadoop Streaming using Python | 파이썬으로 하둡 스트리밍 실행하기 (1) | 2021.06.02 |
| [HDFS] HDFS파일 업로드 및 다운로드 기능하는 jar파일 만들고 실행하기 (1) | 2021.05.24 |
'데이터 엔지니어링 정복/HDFS' Related Articles
more
Comments