지구정복

버전정보hive 3.1.3Sqoop 1.4.7 sqoop import로 Hive테이블을 만드는데 당연히 Managed table이므로 타 DB에서 데이터를 가져올 때 기본적으로 Base디렉터리가 생겨야한다. 하지만 데이터만 덩그라니 있고, base디렉터리가 생기지 않았다.그러다보니 select쿼리시 결과 출력이 되지 않았다. sqoop import를 디버그 모드로 실행해보니 원인을 찾을 수 있었다. -처음 명령어sqoop import \ --connect 'jdbc:mysql://~~~~~:3306/information_schema' \ --username 'test_user' \ --password 'test_user!01' \ --query "select * from TABLES where \$CO..

Cloudera 7.1.4버전의 문서를 참고해당 버전의 Hive버전은 3.1.3000https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html 참고한 내용https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/using-hiveql/topics/hive_hive_3_tables.htmlhttps://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-Compaction 아래 그림에 따라 ..

Spark3로 managed table create하는데 아래와 같은 에러 발생 spark-sql> CREATE TABLE spark_catalog.db1_test.example_hive1 (         >     id INT,         >     name STRING,         >     age INT         > )         > STORED AS parquet;  ErrorCaused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Table db1_test.example_hive1 failed strict managed table checks due to the following reas..