| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- Trino
- 개발
- apache iceberg
- 용인맛집
- hadoop
- 여행
- Data Engineering
- bigdata engineering
- BigData
- BFS
- 양평
- 프로그래머스
- 코테
- Data Engineer
- 영어
- 코딩
- bigdata engineer
- 삼성역맛집
- HIVE
- 알고리즘
- 코딩테스트
- dfs
- 백준
- 코엑스맛집
- 코엑스
- 파이썬
- Iceberg
- 자바
- 맛집
- java
- Today
- Total
목록데이터 엔지니어링 정복/Hive (5)
지구정복
[Hive] Error Table is marked as a managed table but is not transactional
Spark3로 managed table create하는데 아래와 같은 에러 발생 spark-sql> CREATE TABLE spark_catalog.db1_test.example_hive1 ( > id INT, > name STRING, > age INT > ) > STORED AS parquet; ErrorCaused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Table db1_test.example_hive1 failed strict managed table checks due to the following reas..
[Hive] 에러 해결 : MetaException(message:Exception thrown when executing query : SELECT 'org.apache.hadoop.hive.metastore.model.MVersionTable' AS `NUCLEUS_TYPE`,`A0`.`SCHEMA_VERSION`,`A0`.`VERSION_COMMENT`,`A0`.`VER_ID` FROM `VERSION` `A0`)
제목과 같은 에러가 떴는데 Hive 메타스토어의 정보를 읽어올 수 없다는 에러로 확인했다. 내가 손댄 것이라고는 Hive의 메타스토어인 MySQL 한글설정을 한 것 밖에 없었다. 한글 설정을 하니깐 hive에서 저런 흉측한! 에러가 떴다... 그래서 MySQL의 한글 설정값을 아래와 같이 바꿔주니깐 잘 실행되었다 ㅎㅎ 설정을 바꾸기 전에는 항상 관련된 어플리케이션을 모두 종료시키도록 하자. hive > exit; mysql > exit; sudo systemctl stop mysqld 그리고 이제 설정값을 수정한다. sudo vi /etc/my.cnf 한글 설정과 관련된 부분은 빨간 네모 부분이다. [client-server] !includedir /etc/my.cnf.d [client] default-..
내 환경 하둡 3.3.0 하이브 3.1.2 먼저 자신의 하이브 디렉터리 lib에서 hive-contrib-3.1.2.jar를 찾는다. 버전은 다를 수 있다. cd hive/lib/ ll hive-contrip* 그리고 hive를 실행해서 아래 명령어로 위 라이브러리를 하이브에 추가시키고 함수를 만들어준다. #라이브러리 추가 hive>add jar /home/hadoop01/hive/lib/hive-contrib-3.1.2.jar; #auto increment 함수 생성 hive>create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence'; 그리고 auto increment를 진행할 테이블을 만든다...
[Hive] Hive 설치하기 (MySQL 설치도 같이) , Hive engine Tez로 사용하기
참고 : https://sparkdia.tistory.com/11 먼저 나의 환경정보는 다음과 같다. 오라클버추얼박스 5.6.2 CentOS 7 리눅스 가상서버 3대 (hadoop01, hadoop02, hadoop03) 이 중에서 나는 hadoop02 서버에 설치할 예정이다. 1. MySQL 설치하기 먼저 mysql 홈페이지에 접속 https://downloads.mysql.com/archives/community/ 5.7.28 버전 / Red Hat 계열 클릭 그리고 링크 주소 복사한다. 터미널로 가서 wget을 이용해서 다운받는다. [root@hadoop02 ~]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.28-1.el7...