[Cloudera Manager] 클라우데라 매니저 이용해서 Hadoop, Zookeeper, Yarn 설치하기

출처: 실무로 배우는 빅데이터 기술 - 위키독스

실습자료: github.com/wikibook/bigdata2nd

 

 

 

1. 클러스터란(Cluster)?

클러스터의 사전적 의미는 작은 덩어리를 서로 연결 및 결합하여 서로 간의 연관성이 있는 하나의 큰 덩어리로 만드는 것이다.

빅데이터에서 클러스터란 저렴한 저성능 컴퓨터를 이용해 슈퍼컴퓨터 같은 컴퓨터 파워를 얻는 것으로 처리해야 되는 작업이 많은 빅데이터 등을 로드 밸런싱을 통해 클러스터로 구성한 여러 대의 컴퓨터에 나눠 처리하여 생산성을 높이는 것이다.

빅데이터 분석간 활용되는 쉽게 사용할 수 있는 프레임워크는 하둡이다. 맵리듀스는 이를 지원하는 프로그래밍 모델이다.

 

맵리듀스는 페타바이트 이상의 대용량 데이터를 저사양 컴퓨터로 구성된 클러스터에서 처리하는 것이 목표였다. 

맵리듀스는 Map()함수와 Reduce()를 구현함으로써 처리해야할 데이터를 병렬화하는 것이 목적이다.

병렬화된 데이터는 클러스터의 각 노드로 보내져서 동시에 처리할 수 있게 된다. 따라서 개발자는 Map()과 Reduce()만 구현하면 뒷단의 복잡한 분산 처리 과정은 프레임워크가 처리한다. 개발자는 데이터 분석에만 집중할 수 있다. 

---

2. 클라우데라 매니저로 Hadoop, Zookeeper 설치

클라우데라 매니저에 접속한다

 

관리되고 있는 호스트 > 3개 클릭 > 다음

 

아무것도 건드리지 않고 계속

 

 

그러면 아래처럼 CDH 설치가 시작된다.

 

설치가 다되면 아래처럼 체크하고 계속

 

사용자지정 서비스 누른 뒤 HDFS, YARN, Zookeeper만 먼저 설치한다.

 

아래처럼 설치한 SW의 서버를 지정해준다. (서버 2개로 줄였다.)

 

변경내용검토에서 이상없으면 계속을 누른다.

이제 각 서버에 소프트웨어들이 아래처럼 설치된다.

 

설치가 완료되면 아래와 같은 화면이 뜬다.

 

이제 대시보드에 가보면 설치한 서비스들의 현황을 클라우데라 매니저가 실시간으로 확인해서 아래와 같이 보여준다.

구성에 주의 표시는 현재 서버의 가용공간이 많지 않아서 그런것이므로 버추얼박스에서 용량을 늘려주면된다.

 

 

설치끝