지구정복

환경에 따라 다를 수 있습니다. Ambari metaDB가 설치된 서버로 접속하여 아래 쉘 실행 [root@master01 ambari]# cat backup_ambari_configs.sh#!/bin/bash# MariaDB 접속 정보DB_NAME="ambari"USER="root"PASSWORD="mypassword"# 쿼리 실행과 결과를 텍스트 파일에 저장mysql -u "$USER" -p"$PASSWORD" "$DB_NAME" -e "SELECT cc.*FROM clusterconfig ccJOIN ( SELECT type_name, MAX(version) AS max_version FROM clusterconfig GROUP BY type_name) AS groupedON c..

슈퍼셋에 트리노 연동해서 사용중인데아래와 같이 트리노 쿼리 실행하면 30초안에 timeout발생하는 이슈 발생 trino error: the query exceeded the 30 seconds timeout this may be triggered by Issued 1002 - the database returned an unexpected error 참고: https://community.cloudera.com/t5/Support-Questions/Superset-timeout-issue-of-30-sec-restarted-Superset-service/td-p/303388 Ambari Superset에서 아래 설정들을 해줘야한다.Ambari를 사용하지 않으면 superset_config.py에 추가..

먼저 airflow 가 사용하는 Python의 pip로 해당 패키지 설치# /airflow/.pyenv/versions/3.7.11/envs/venv/bin/pip3 install apache-airflow-providepypi repo로 설치가 안되면 수동설치해야한다. 그리고 아래와 같이 사용한다.from airflow import DAGfrom airflow.providers.apache.sqoop.operators.sqoop import SqoopOperatorfrom datetime import datetime default_args = { 'owner': 'airflow', 'start_date': datetime(2022, 1, 1),} with DAG( dag_id='sqoo..

spark 3.4.1 내부적으로 브로드캐스트 조인시에 브로드캐스트될 테이블이 너무 클 경우 아래 에러가 발생한다.Traceback (most recent call last): File "", line 1, in File "/usr/my/current/spark3-client/python/pyspark/sql/session.py", line 1440, in sql return DataFrame(self._jsparkSession.sql(sqlQuery, litArgs), self) File "..