일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- pyspark
- 여행
- 코테
- Data Engineer
- java
- BigData
- bigdata engineer
- hadoop
- 맛집
- 코엑스맛집
- 백준
- Kafka
- 용인맛집
- 삼성역맛집
- apache iceberg
- 개발
- 영어
- 코딩
- Trino
- 코딩테스트
- Iceberg
- HIVE
- 프로그래머스
- Linux
- bigdata engineering
- Spark
- 알고리즘
- 자바
- Apache Kafka
- Data Engineering
- Today
- Total
목록데이터 엔지니어링 정복/Trino (3)
지구정복
현재 python3.8을 사용중이고, Trino의 정보는 다음과 같다. -ssl 적용된 trino ssl pam파일 위치: /bigdata/hue/trino_ca_250408.pem host: my00mn001:9998 admin_user: trino user_password: MyPassword!23 먼저 사용하는 Python에 pip package를 설치한다.pip38 install trino 파이썬에서 아래와 같이 사용한다.이때 ssl을 사용하니 .pem파일이 정확히 해당 위치에 존재해야하고 read권한이 있어야한다.from trino.dbapi import connectfrom trino.auth import BasicAuthenticationconn = connect( host='my..

Hue에서 트리노 사용중 아래 에러가 발생. {'message': 'Query exceeded per-node memory limit of 1GB [Allocated: 1015.31MB, Delta: 11.74MB, Top Consumers: {TableScanOperator=588.89MB, OrderByOperator=379.89MB, LazyOutputBuffer=46.53MB}]', 'errorCode': 131079, 'errorName': 'EXCEEDED_LOCAL_MEMORY_LIMIT', 'errorType': 'INSUFFICIENT_RESOURCES', 'failureInfo': {'type': 'io.trino.ExceededMemoryLimitException', 'message'..
현재 trino를 password인증 방식을 사용중이고 ssl/tls 설정을 하여 https로 trino를 사용중인데 아래와 같은 에러가 발생했다.HTTPSConnectionPool(host='mycluster00', port=9998): Max retries exceeded with url: /v1/statement (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate has expired (_ssl.c:1091)'))) 인증서가 만료됐다는 에러이다. 다시 개인키와 자체 서명 인증서를 생성하여 배포한다. 0. 개념정리진행하기 전에 개념을 ..