지구정복

HDFS를 토대의 Hive Catalog를 사용중인 Iceberg table에 스트리밍데이터를 Insert시 아래와 같은 에러로 데이터 적재가 계속 실패Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /hdfs/directory/test_data is exceeded: limit=1048576 items=1048576 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyMaxDirItems(FSDirectory..

1. 개념 정리 EC2 관련AWS Graviton 인스턴스: AWS가 직접 설계한 ARM 아키텍처 기반 프로세서를 탑재한 EC2 인스턴스, Graviton 프로세서는 성능 대비 전력 효율이 뛰어나고 비용 효율성이 매우 높아, 클라우드 컴퓨팅 비용 절감에 큰 도움을 줍니다., 일부 워크로드에서 x86 대비 최대 40% 이상 비용 절감 가능, 웹서버, 컨테이너, 마이크로서비스, 빅데이터, 머신러닝 워크로드 등에서 주로 사용 Amazon EBS-EC2 인스턴스에 연결하여 사용할 수 있는 블록 스토리지 볼륨입니다. SSD 기반 성능 옵션(gp2, gp3, io1 등) 및 HDD 기반 옵션(st1, sc1) 중 선택 EBS 볼륨의 데이터 백업 및 복원, 다른 리전으로 복제도 가능 S3 관련-S3 = hdfs..

아래는 클라우데라에서 제공하는 파일 개수별 메모리 권장 사항입니다.Number of Files , in MillionsTotal Java Heap (Xmx and Xms)Young Generation Size (-XX:NewSize -XX:MaxNewSize)1126m128m1-5 million files3379m512m5-105913m768m10-2010982m1280m20-30 16332m2048m30-4021401m2560m40-5026752m3072m50-7036889m4352m70-10052659m6144m100-12565612m7680m125-15078566m8960m150-200104473m8960m 공식 문서 https://docs.cloudera.com/runtime/7.3.1..

아래 내용을 추가해준다.#!/bin/bashexport PS4='+ $(date "+%T") [Line:$LINENO] 'set -xecho "Starting"sleep 1echo "Done" 실행하면 아래와 같이 출력된다.+ 12:34:56 [Line:5] echo Starting+ 12:34:57 [Line:6] sleep 1+ 12:34:58 [Line:7] echo Done