지구정복

A data warehouse acts as a centralized repository for organizations to store all theirdata coming in from a multitude of sources, allowing data consumers such as analystsand BI engineers to access data easily and quickly from one single source to start their analysis    The Data LakeWhile data warehouses provided a mechanism for running analytics on structureddata, they still had several issues:..

참고icberg guidebookhttps://trino.io/docs/current/connector/iceberg.html#metadata-tablesTrino 402버전 문서: https://trino.io/docs/402/overview/use-cases.html 0. PE/DE로서 Iceberg 사용시 어떤 점들을 중점적으로 알아야 할까? -Trino/Spark3 설치법-Iceberg 셋팅법(Trino와 Spark3에서 사용가능하도록 셋팅하기)-Ranger 권한관리방법(현재는 Trino만 유저에 한해서만 작동하지만 LDAP연동시에는 그룹 권한은 미작동 / Spark3도 되지만 권한적용이 원활히 되진 않음 / 그룹 및 유저권한관리)-Iceberg의 기본 개념 및 사용방법    1. Iceberg ..

apache iceberg guidebook에서 가져온 내용입니다.  CHAPTER 3Lifecycle of Write and Read Queries   Writing Queries in Apache Iceberg  Create the TableSend the query to the engineWrite the metadata fileUpdate the catalog file to commit changes Insert the Query Send the query to the engineCheck the catalogWrite the datafiles and metadata filesUpdate the catalog file to commit changes   Merge QuerySend the quer..

먼저 개념정리부터 한다. Keystore(.jks 파일)란 Private Key를 비밀번호로 암호화한 텍스트/파일이다.주로 SSL에 사용된다. .pem파일은 이러한 비밀키, 인증서 등을 텍스트 형식으로 저장한 파일 포맷, 주로 널리 적용할 수 있기 때문에 주로 사용된다.  먼저 자체적으로 keystore부터 만들어준다.#ssl/tls에서 사용될 .jks 파일 생성[root@mycluster001 ca_key]# keytool -genkeypair -alias {개인키 이름} -keyalg RSA \-keystore {.jks파일이 저장될 위치 및 이름} \-dname "CN= {개인키 이름} " \-ext "SAN=DNS:{현재 서버 FQDN},IP:{현재 서버 IP}" \-keypass {passwor..