지구정복

빠른 결론Hive Managed Table이 insert-only인 경우에만 타클러스터에 Hive External Table로 옮기기 가능하나타클러스터에서 디렉터리 구조 변경이 필요 1. A 클러스터의 Hive Table상태 조사A클러스터에서 B클러스터로 옮겨야할 테이블명은 다음과 같다.a_cluster.test_tbl1a_cluster.test_tbl2 해당 테이블들의 show create table결과와 포맷도 확인한다. -a_cluster.test_tbl1CREATE TABLE `a_cluster.test_tbl1`( `ecu_id` string, `dtc_cd` string, `fuel_k_cd` string)COMMENT 'Imported by sqoop on 2017/08/24 0..

버전정보hive 3.1.3Sqoop 1.4.7 sqoop import로 Hive테이블을 만드는데 당연히 Managed table이므로 타 DB에서 데이터를 가져올 때 기본적으로 Base디렉터리가 생겨야한다. 하지만 데이터만 덩그라니 있고, base디렉터리가 생기지 않았다.그러다보니 select쿼리시 결과 출력이 되지 않았다. sqoop import를 디버그 모드로 실행해보니 원인을 찾을 수 있었다. -처음 명령어sqoop import \ --connect 'jdbc:mysql://~~~~~:3306/information_schema' \ --username 'test_user' \ --password 'test_user!01' \ --query "select * from TABLES where \$CO..

하이브 테이블의 파티션을 주기적으로 점검하고 동기화해주는 기능이다. 파티션 동기화 여부는 discover.partitions 테이블 속성으로 지정합니다.외부 파티션 테이블을 생성할 때, 기본값은 true로 되어 있어 자동으로 동기화가 활성화됩니다.하지만 예전 버전에서 만든 외부 테이블에는 이 기능이 기본 적용되어 있지 않으므로, 별도로 테이블 속성을 지정해 줘야 합니다.설정 방법 예시:ALTER TABLE exttbl SET TBLPROPERTIES ('discover.partitions' = 'true');위 명령어를 사용하면, 자동 파티션 탐지 기능이 해당 테이블에 활성화됩니다. 하이브는 기본적으로 5분마다 파티션 정보를 탐지하고 동기화합니다.하지만 업그레이드 작업 중에는 이런 높은 빈도의 작업이 ..

Cloudera 7.1.4버전의 문서를 참고해당 버전의 Hive버전은 3.1.3000https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html 참고한 내용https://docs-archive.cloudera.com/cdp-private-cloud-base/7.1.4/using-hiveql/topics/hive_hive_3_tables.htmlhttps://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-Compaction 아래 그림에 따라 ..