지구정복

안녕하세요! 빅데이터 엔지니어링 분야에서 최근 가장 주목받고 있는 Trino와 Apache Iceberg 연동에 대해 자세히 알아보겠습니다. 데이터 레이크 기술이 급속히 발전하면서, 전통적인 데이터 웨어하우스의 한계를 뛰어넘는 새로운 솔루션들이 등장하고 있어요. 그 중에서도 Trino의 Iceberg Connector는 현대적인 분석 플랫폼의 필수 요소가 되었습니다. 직접 프로덕션에서 운영해본 노하우를 바탕으로, 기본 설정부터 고급 튜닝까지 단계별로 정리해드릴게요! Trino-Iceberg 연동 아키텍처 살펴보기 먼저 이 두 기술이 어떻게 협력하는지 구조부터 파악해보겠습니다. [사진: 1.jpg - Trino Iceberg connector 아키텍처 다이어그램] 주요 컴포넌트 분석 분산 스토리지 접근 방..

현재 python3.8을 사용중이고, Trino의 정보는 다음과 같다. -ssl 적용된 trino ssl pam파일 위치: /bigdata/hue/trino_ca_250408.pem host: my00mn001:9998 admin_user: trino user_password: MyPassword!23 먼저 사용하는 Python에 pip package를 설치한다.pip38 install trino 파이썬에서 아래와 같이 사용한다.이때 ssl을 사용하니 .pem파일이 정확히 해당 위치에 존재해야하고 read권한이 있어야한다.from trino.dbapi import connectfrom trino.auth import BasicAuthenticationconn = connect( host='my..

CHAPTER 4 Optimizing the Performance of Iceberg TablesCompaction When you are querying yourApache Iceberg tables, you need to open and scan each file and then close the filewhen you’re done. The more files you have to scan for a query, the greater the costthese file operations will put on your query. it is possible to run intothe “small files problem,” where too many small files have an impact o..

A data warehouse acts as a centralized repository for organizations to store all theirdata coming in from a multitude of sources, allowing data consumers such as analystsand BI engineers to access data easily and quickly from one single source to start their analysis    The Data LakeWhile data warehouses provided a mechanism for running analytics on structureddata, they still had several issues:..