목록데이터 엔지니어링 정복/Sqoop (2)
지구정복
pc환경은 다음과 같다. -오라클버추얼박스 5.2.44 -CentOS 7 리눅스 서버 4대(주키퍼, 하둡, 하이브 설치상태) -하이브가 설치되어있는 서버 2에 설치예정 항상 설치전에는 버추얼박스에서 각 서버에 대한 스냅샷을 찍어놓자!!!! 1. 설치 아래 사이트 클릭 http://sqoop.apache.org/ 아래 다운로드 클릭 아래 클릭 링크주소를 복사한다. 그리고 설치를 할 서버에서 아래 명령어 실행한다. wget http://mirror.navercorp.com/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 그리고 압축을 푼다. tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 그리고 심볼릭 링크를 설정한다. l..
1. 개념 하둡에서의 HDFS에 있는 빅데이터 분석 결과를 외부에 있는 RDBMS로 전달한다든지 반대로 외부에서 하둡으로 가져올 때 사용한다. 2. 구성요소 -Sqoop Client : 하둡의 분산 환경에서 HDFS와 RDBMS 간의 데이터 임포트 및 익스포트 기능을 수행하기 위한 라이브러리 구성 -Sqoop Server : 스쿱2의 아키텍처에서 제공되며, 스쿱1의 분산된 클라이언트 기능을 통합해 REST API로 제공한다. -Import / Export : 임포트 기능은 RDBMS의 데이터를 HDFS로 가져올 때 사용하며, 반대로 익스포트 기능은 HDFS의 데이터를 RDBMS로 내보낼 때 사용 -Connectors : 임포트 및 익스포트에서 사용될 다양한 DBMS의 접속 어댑터와 라이브러리 제공 -Me..