[Hive] 자동으로 파티션 탐지 및 복구 | Automate partition discovery and repair

 

 

하이브 테이블의 파티션을 주기적으로 점검하고 동기화해주는 기능이다.

 

파티션 동기화 여부는 discover.partitions 테이블 속성으로 지정합니다.

외부 파티션 테이블을 생성할 때, 기본값은 true로 되어 있어 자동으로 동기화가 활성화됩니다.
하지만 예전 버전에서 만든 외부 테이블에는 이 기능이 기본 적용되어 있지 않으므로, 별도로 테이블 속성을 지정해 줘야 합니다.
설정 방법 예시:

ALTER TABLE exttbl SET TBLPROPERTIES ('discover.partitions' = 'true');

위 명령어를 사용하면, 자동 파티션 탐지 기능이 해당 테이블에 활성화됩니다.

 

 

하이브는 기본적으로 5분마다 파티션 정보를 탐지하고 동기화합니다.
하지만 업그레이드 작업 중에는 이런 높은 빈도의 작업이 하이브 데이터베이스에 지나치게 많은 쿼리를 발생시켜 성능 저하를 일으킬 수 있습니다.

업그레이드 중에는 파티션 탐지/동기화 주기를 줄이는 것이 권장되며, 1시간 또는 1일에 한 번 정도로 설정할 수도 있습니다.

 

hive-site.xml에 아래 설정

Property: metastore.partition.management.task.frequency
Value: 600 (10분, 초 단위)