지구정복

제목과 같은 에러가 떴는데 Hive 메타스토어의 정보를 읽어올 수 없다는 에러로 확인했다. 내가 손댄 것이라고는 Hive의 메타스토어인 MySQL 한글설정을 한 것 밖에 없었다. 한글 설정을 하니깐 hive에서 저런 흉측한! 에러가 떴다... 그래서 MySQL의 한글 설정값을 아래와 같이 바꿔주니깐 잘 실행되었다 ㅎㅎ 설정을 바꾸기 전에는 항상 관련된 어플리케이션을 모두 종료시키도록 하자. hive > exit; mysql > exit; sudo systemctl stop mysqld 그리고 이제 설정값을 수정한다. sudo vi /etc/my.cnf 한글 설정과 관련된 부분은 빨간 네모 부분이다. [client-server] !includedir /etc/my.cnf.d [client] default-..

내 환경 하둡 3.3.0 하이브 3.1.2 먼저 자신의 하이브 디렉터리 lib에서 hive-contrib-3.1.2.jar를 찾는다. 버전은 다를 수 있다. cd hive/lib/ ll hive-contrip* 그리고 hive를 실행해서 아래 명령어로 위 라이브러리를 하이브에 추가시키고 함수를 만들어준다. #라이브러리 추가 hive>add jar /home/hadoop01/hive/lib/hive-contrib-3.1.2.jar; #auto increment 함수 생성 hive>create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence'; 그리고 auto increment를 진행할 테이블을 만든다...

참고 : https://sparkdia.tistory.com/11 먼저 나의 환경정보는 다음과 같다. 오라클버추얼박스 5.6.2 CentOS 7 리눅스 가상서버 3대 (hadoop01, hadoop02, hadoop03) 이 중에서 나는 hadoop02 서버에 설치할 예정이다. 1. MySQL 설치하기 먼저 mysql 홈페이지에 접속 https://downloads.mysql.com/archives/community/ 5.7.28 버전 / Red Hat 계열 클릭 그리고 링크 주소 복사한다. 터미널로 가서 wget을 이용해서 다운받는다. [root@hadoop02 ~]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.28-1.el7...

공식사이트 : hive.apache.org/ 1. 개념 더보기 하둡 초창기에는 적재된 데이터를 탐색/분석하기 위해 맵리듀스를 주로 이용했지만 이는 복잡한 프로그래밍 기법이 필요했고, 이는 업무 분석가 및 관리자들에게 빅데이터에 접근하는 것을 어렵게 했다. 이를위해 페이스북에서 SQL과 매우 유사한 방식으로 하둡 데이터에 접근성을 높인 하이브를 개발했다. *참고 하이브 External / Managed 하이브의 데이터 아키텍처는 External 영역과 Managed 영역으로 구분된다. 스키마에 대한 제약조건이 없는 영역이 External영역이고 보통 Data Lake 영역이다. Managed는 스키마에 대한 제약조건이 있고 Data Warehouse 영역이다. External영역에서 데이터 스키마에 대한 ..