반응형
Notice
Recent Posts
Recent Comments
Link
«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
Tags more
Archives
Today
Total
관리 메뉴
728x90
반응형

목록데이터 엔지니어링 정복 (412)

지구정복

[Spark] Dynamic partition strict mode requires at least one static partition column Error

Spark를 이용해서 Hive 테이블 쓰기 작업중 아래 에러가 발생했다.com.streamsets.datatransformer.dag.error.OperatorFailureException: Operator Hive_01 failed due to org.apache.spark.SparkException at com.streamsets.datatransformer.dag.BaseBatchDAGRunner.com$streamsets$datatransformer$dag$BaseBatchDAGRunner$$generateOperatorFailure(BaseBatchDAGRunner.scala:664) at com.streamsets.datatransformer.dag.BaseBatchDAGRunner$$anon..
데이터 엔지니어링 정복/Spark 2025. 4. 15. 17:14
[Spark] Hive table저장시 parquet 포맷 관련 설정

spark dataframe을 hive table로 저장하려고 할 때 아래 에러 발생했다.StreamingQueryException: [STREAM_FAILED] Query [id = 212088e9-127b-408d-84fa-bc47345e6f77, runId = 303af654-dffd-4218-a813-2b270be37aa3] terminated with exception: An exception was raised by the Python Proxy. Return Message: Traceback (most recent call last):  File "/usr/local/src/miniconda/py38-16/lib/python3.8/site-packages/py4j/clientserver.py..
데이터 엔지니어링 정복/Spark 2025. 4. 13. 15:40
[Hive] Error Table is marked as a managed table but is not transactional

Spark3로 managed table create하는데 아래와 같은 에러 발생 spark-sql> CREATE TABLE spark_catalog.db1_test.example_hive1 (         >     id INT,         >     name STRING,         >     age INT         > )         > STORED AS parquet;  ErrorCaused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Table db1_test.example_hive1 failed strict managed table checks due to the following reas..
데이터 엔지니어링 정복/Hive 2025. 3. 20. 15:54
[Airflow] airflow db upgrade error

airflow db upgrade error발생하면  airflow db upgrade 진행 만약 위 명령어 에러나면 아래 airflow python package 설치해준다./usr/airflow/.pyenv/versions/venv/bin/pip install sqlalchemy==1.4.49/usr/airflow/.pyenv/versions/venv/bin/pip install apache-airflow-providers-common-sql 그리고 다시 airflow db upgrade 진행
데이터 엔지니어링 정복/Airflow 2025. 3. 20. 11:17
Prev 1 ··· 3 4 5 6 7 8 9 ··· 103 Next
반응형