지구정복

참고문서: https://docs.cloudera.com/runtime/7.3.1/scaling-namespaces/topics/hdfs-config-heterogeneous-storage.html 데이터 노드에 사용될 실제 서버의 디렉터리(ex: /hadoop/disk1/, /hadoop/disk2)를 특정 디스크 타입으로 마운트하고이를 HDFS상에서 해당 디렉터리가 HDD인지 SSD인지 등을 설정할 수 있다. HDFS storage types먼저 HDFS에서 사용가능한 스토리지 타입은 다음과 같다. ARCHIVE - Archival storage is for very dense storage and is useful for rarely accessed data. This storage type is..

Cloudera 7.1.4버전의 문서를 참고해당 버전의 Hive버전은 3.1.3000https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html 참고한 내용https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/using-hiveql/topics/hive_hive_3_tables.htmlhttps://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-Compaction 아래 그림에 따라 ..

HDFS를 토대의 Hive Catalog를 사용중인 Iceberg table에 스트리밍데이터를 Insert시 아래와 같은 에러로 데이터 적재가 계속 실패Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /hdfs/directory/test_data is exceeded: limit=1048576 items=1048576 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyMaxDirItems(FSDirectory..

아래는 클라우데라에서 제공하는 파일 개수별 메모리 권장 사항입니다.Number of Files , in MillionsTotal Java Heap (Xmx and Xms)Young Generation Size (-XX:NewSize -XX:MaxNewSize)1126m128m1-5 million files3379m512m5-105913m768m10-2010982m1280m20-30 16332m2048m30-4021401m2560m40-5026752m3072m50-7036889m4352m70-10052659m6144m100-12565612m7680m125-15078566m8960m150-200104473m8960m 공식 문서 https://docs.cloudera.com/runtime/7.3.1..