지구정복

참고icberg guidebookhttps://trino.io/docs/current/connector/iceberg.html#metadata-tablesTrino 402버전 문서: https://trino.io/docs/402/overview/use-cases.html 0. PE/DE로서 Iceberg 사용시 어떤 점들을 중점적으로 알아야 할까? -Trino/Spark3 설치법-Iceberg 셋팅법(Trino와 Spark3에서 사용가능하도록 셋팅하기)-Ranger 권한관리방법(현재는 Trino만 유저에 한해서만 작동하지만 LDAP연동시에는 그룹 권한은 미작동 / Spark3도 되지만 권한적용이 원활히 되진 않음 / 그룹 및 유저권한관리)-Iceberg의 기본 개념 및 사용방법    1. Iceberg ..

CHAPTER 11 Apache Iceberg in ProductionIn this chapter, we will discuss many of the tools that can be used to help monitor and maintain Apache Iceberg tables in production.  Apache Iceberg Metadata TablesSELECT * FROM catalog.table.history AS OF VERSION 1059035530770364194 These tables are generated from the metadata across Apache Iceberg metadata files at query time.  The history Metadata Table..

apache iceberg guidebook에서 가져온 내용입니다.  CHAPTER 3Lifecycle of Write and Read Queries   Writing Queries in Apache Iceberg  Create the TableSend the query to the engineWrite the metadata fileUpdate the catalog file to commit changes Insert the Query Send the query to the engineCheck the catalogWrite the datafiles and metadata filesUpdate the catalog file to commit changes   Merge QuerySend the quer..

먼저 개념정리부터 한다. Keystore(.jks 파일)란 Private Key를 비밀번호로 암호화한 텍스트/파일이다.주로 SSL에 사용된다. .pem파일은 이러한 비밀키, 인증서 등을 텍스트 형식으로 저장한 파일 포맷, 주로 널리 적용할 수 있기 때문에 주로 사용된다.  먼저 자체적으로 keystore부터 만들어준다.#ssl/tls에서 사용될 .jks 파일 생성[root@mycluster001 ca_key]# keytool -genkeypair -alias {개인키 이름} -keyalg RSA \-keystore {.jks파일이 저장될 위치 및 이름} \-dname "CN= {개인키 이름} " \-ext "SAN=DNS:{현재 서버 FQDN},IP:{현재 서버 IP}" \-keypass {passwor..

현재 Openldap과 hue, Hive연동된 상태이다. Hue의 hive editor를 오픈하면 아래 에러가 자꾸 발생했다. Bad status: 3 (b'Error validating the login') (code THRIFTTRANSPORT): TTransportException("Bad status: 3 (b'Error validating the login')")  또한 Hue log를 확인해보니 아래 내용이 있었다.[27/Feb/2025 16:50:17 +0900] base         DEBUG    Selected interpreter hive interface=hiveserver2 compute=None [27/Feb/2025 16:50:17 +0900] dbms         DEBU..