일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- 용인맛집
- 양평
- BFS
- hadoop
- 파이썬
- HIVE
- 코엑스맛집
- 백준
- dfs
- 프로그래머스
- BigData
- Data Engineering
- 코딩
- Trino
- 알고리즘
- 코엑스
- 영어
- 여행
- bigdata engineering
- 맛집
- Data Engineer
- java
- apache iceberg
- 자바
- 삼성역맛집
- bigdata engineer
- 개발
- 코딩테스트
- 코테
- Iceberg
- Today
- Total
목록데이터 엔지니어링 정복/Sqoop (2)
지구정복

pc환경은 다음과 같다. -오라클버추얼박스 5.2.44 -CentOS 7 리눅스 서버 4대(주키퍼, 하둡, 하이브 설치상태) -하이브가 설치되어있는 서버 2에 설치예정 항상 설치전에는 버추얼박스에서 각 서버에 대한 스냅샷을 찍어놓자!!!! 1. 설치 아래 사이트 클릭 http://sqoop.apache.org/ 아래 다운로드 클릭 아래 클릭 링크주소를 복사한다. 그리고 설치를 할 서버에서 아래 명령어 실행한다. wget http://mirror.navercorp.com/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 그리고 압축을 푼다. tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 그리고 심볼릭 링크를 설정한다. l..

1. 개념 하둡에서의 HDFS에 있는 빅데이터 분석 결과를 외부에 있는 RDBMS로 전달한다든지 반대로 외부에서 하둡으로 가져올 때 사용한다. 2. 구성요소 -Sqoop Client : 하둡의 분산 환경에서 HDFS와 RDBMS 간의 데이터 임포트 및 익스포트 기능을 수행하기 위한 라이브러리 구성 -Sqoop Server : 스쿱2의 아키텍처에서 제공되며, 스쿱1의 분산된 클라이언트 기능을 통합해 REST API로 제공한다. -Import / Export : 임포트 기능은 RDBMS의 데이터를 HDFS로 가져올 때 사용하며, 반대로 익스포트 기능은 HDFS의 데이터를 RDBMS로 내보낼 때 사용 -Connectors : 임포트 및 익스포트에서 사용될 다양한 DBMS의 접속 어댑터와 라이브러리 제공 -Me..