지구정복

참고문서: https://docs.cloudera.com/runtime/7.3.1/scaling-namespaces/topics/hdfs-config-heterogeneous-storage.html 데이터 노드에 사용될 실제 서버의 디렉터리(ex: /hadoop/disk1/, /hadoop/disk2)를 특정 디스크 타입으로 마운트하고이를 HDFS상에서 해당 디렉터리가 HDD인지 SSD인지 등을 설정할 수 있다. HDFS storage types먼저 HDFS에서 사용가능한 스토리지 타입은 다음과 같다. ARCHIVE - Archival storage is for very dense storage and is useful for rarely accessed data. This storage type is..

Cloudera 7.1.4버전의 문서를 참고해당 버전의 Hive버전은 3.1.3000https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html 참고한 내용https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/using-hiveql/topics/hive_hive_3_tables.htmlhttps://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-Compaction 아래 그림에 따라 ..

환경에 따라 다를 수 있습니다. Ambari metaDB가 설치된 서버로 접속하여 아래 쉘 실행 [root@master01 ambari]# cat backup_ambari_configs.sh#!/bin/bash# MariaDB 접속 정보DB_NAME="ambari"USER="root"PASSWORD="mypassword"# 쿼리 실행과 결과를 텍스트 파일에 저장mysql -u "$USER" -p"$PASSWORD" "$DB_NAME" -e "SELECT cc.*FROM clusterconfig ccJOIN ( SELECT type_name, MAX(version) AS max_version FROM clusterconfig GROUP BY type_name) AS groupedON c..

HDFS를 토대의 Hive Catalog를 사용중인 Iceberg table에 스트리밍데이터를 Insert시 아래와 같은 에러로 데이터 적재가 계속 실패Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /hdfs/directory/test_data is exceeded: limit=1048576 items=1048576 at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyMaxDirItems(FSDirectory..