지구정복

1. 개념 더보기 원래 하이브의 배치성 분석을 사용하면서 데이터를 탐색하고 분석했는데 맵리듀스를 사용하다보니 시간이 너무 오래걸렸다. 특히 인터랙티브한 작업들의 결과를 빠르게 확인해야하는데 하이브는 이를 만족시키지 못했다. 따라서 빅데이터를 온라인으로 빠르게 분석할 수 있는 임팔라를 만들게 됐다. 호튼웍스는 테즈가 있다. 임팔라는 하둡의 데이터 노드 위에서 실행된다. 2. 구성요소 더보기 -Imparad : 하둡의 데이터 노드에 설치되어 임팔라의 실행 쿼리에 대한 계획, 스케줄링, 엔진을 관리하는 코어 영역 -Query Planner : 임팔라 쿼리에 대한 실행 계획을 수립 -Query Coordinator : 임팔라 잡리스트 및 스케줄링 관리 -Query Exec Engine : 임팔라 쿼리를 최적화해..

1. 개념 더보기 하둡을 기반으로 하이브, 피그, 우지, 스쿱, 스파크 등은 일반 분석가 또는 업무 담당자들이 직접 사용하기에는 어려움이 많다. 따라서 이러한 기술의 복잡성은 숨기고 간편하게 사용하기 위한 소프트웨어들이 만들어졌는데 그 중 하나가 클라우데라에서 만든 휴이다. 휴는 다양한 하둡의 에코시스템의 기능들을 웹UI로 통합 제공한다. 2. 구성요소 더보기 -Job Designer : 우지의 워크플로 및 Coordinator를 웹 UI에서 디자인 -Job Browser : 등록한 잡의 리스트 및 진행 상황과 결과 등을 조회 -Hive Editor : 하이브 QL을 웹 UI에서 작성, 실행, 관리한다. -Pig Editor : 피그 스크립트를 웹 UI에서 작성, 실행, 관리 -HDFS Browser :..

설치할 위치 지정 cd /home/pilot-pjt wget http://archive.apache.org/dist/storm/apache-storm-1.2.3/apache-storm-1.2.3.tar.gz tar -xvf apache-storm-1.2.3.tar.gz ln -s apache-storm-1.2.3 storm#심벌릭링크 설정 이제 스톰의 환경설정 파일을 수정한다. 맨 밑에 입력을 해준다. cd /home/pilot-pjt/storm/conf vi storm.yaml 아래는 입력값이다. 띄어쓰기까지 정확하게 오타없이 입력해야 한다. storm.zookeeper.servers: - "server02.hadoop.com" storm.local.dir: "/home/pilot-pjt/storm/d..

1. 설치하기 더보기 클라우데라 매니저에서 제공하지 않아서 직접 설치해줘야 한다. 먼저 yum명령어를 통해 gcc컴파일러와 tcl을 설치한다. yum install -y gcc* yum install -y tcl 설치위치를 잡아주고 레디스5.0.7을 다운받아서 빌드 및 설치한다. cd /home/pilot-pjt/ wget http://download.redis.io/releases/redis-5.0.7.tar.gz tar -xvf redis-5.0.7.tar.gz cd redis-5.0.7 make make install cd /home/pilot-pjt/redis-5.0.7/utils/ chmod 755 install_server.sh ./install_server.sh #계속 엔터 vi /var/l..