반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 프로그래머스
- 영어
- HIVE
- 백준
- 코엑스맛집
- 삼성역맛집
- bigdata engineer
- Iceberg
- 코테
- java
- 개발
- Data Engineering
- Linux
- 자바
- 코딩테스트
- apache iceberg
- HDFS
- Kafka
- 여행
- 코딩
- bigdata engineering
- 알고리즘
- hadoop
- Spark
- Data Engineer
- BigData
- Apache Kafka
- pyspark
- Trino
- 맛집
Archives
- Today
- Total
728x90
반응형
목록Sqoop (1)
지구정복
[Sqoop] sqoop import로 Hive table 만들시 base 디렉터리 미생성 이슈
버전정보hive 3.1.3Sqoop 1.4.7 sqoop import로 Hive테이블을 만드는데 당연히 Managed table이므로 타 DB에서 데이터를 가져올 때 기본적으로 Base디렉터리가 생겨야한다. 하지만 데이터만 덩그라니 있고, base디렉터리가 생기지 않았다.그러다보니 select쿼리시 결과 출력이 되지 않았다. sqoop import를 디버그 모드로 실행해보니 원인을 찾을 수 있었다. -처음 명령어sqoop import \ --connect 'jdbc:mysql://~~~~~:3306/information_schema' \ --username 'test_user' \ --password 'test_user!01' \ --query "select * from TABLES where \$CO..
데이터 엔지니어링 정복/Sqoop
2025. 9. 15. 13:10
반응형