[Storm] Storm 설치하기

설치할 위치 지정

cd /home/pilot-pjt
wget http://archive.apache.org/dist/storm/apache-storm-1.2.3/apache-storm-1.2.3.tar.gz
tar -xvf apache-storm-1.2.3.tar.gz
ln -s apache-storm-1.2.3 storm	#심벌릭링크 설정

 

이제 스톰의 환경설정 파일을 수정한다. 맨 밑에 입력을 해준다.

cd /home/pilot-pjt/storm/conf
vi storm.yaml

 

아래는 입력값이다. 띄어쓰기까지 정확하게 오타없이 입력해야 한다.

storm.zookeeper.servers:
 - "server02.hadoop.com"
 
 storm.local.dir: "/home/pilot-pjt/storm/data"
 
 nimbus.seeds: ["server02.hadoop.com"]
 
 supervisor.slots.ports:
  - 6700
  
  ui.port: 8088

'esc'
:wq

5개의 Storm 설정값이 있다. 

첫 째줄은 주키퍼 정보이다. 

두 번째는 스톰이 작동하는데 필요한 데이터 저장소이다.

세 번째는 스톰의 Nimbus 정보이다.

네 번째는 Worker의 포트로서, 포트의 개수만큼 멀티 Worker가 만들어지는데 여기서는 단일 Worker포트인 6700을 이용한다.

마지막은 스톰 UI 접속 포트이다.

 

 

다음으로 Storm은 과도한 로그가 발생되므로 Storm의 로그 레벨을 조정한다.

기본값은 'info'인데 과도한 로그로 인해 성능 저하와 디스크 공간 부족이 발생할 수 있다.

이를 방지하기 위해 2개의 파일을 수정한다.

cd /home/pilot-pjt/storm/log4j2/
vi worker.xml

#/"INFO" 검색

"INFO"를 "ERROR"로 변경한다.

 

vi cluster.xml

#/"info" 검색

여기도 "info"를 "ERROR"로 변경한다. 4군데를 바꿔야 한다.

 

이제 스톰 명령을 편리하게 사용하기 위해 root계정의 프로파일에 스톰의 패스를 설정한다.

vi /root/.bash_profile

아래 밑줄 친 부분 추가하기

그리고 수정한 root 계정의 프로파일 정보를 다시 읽어온다.

source /root/.bash_profile

 

 

다음으로 Storm은 자바1.8에서 실행되어야 되기 때문에 확인한다.

java -version

 

 

이제 기본적인 Storm설치는 끝났고 이제 리눅스가 재시작할 때도 Storm이 자동으로 실행되도록 설정한다.

총 3개의 스톰 서비스(Nimbus, Supervisor, UI)가 있고 3개의 자동 실행 스크립트가 필요하다.

 

파일질라를 통해서 서비스 등록 스크립트를 옮기고 실행권한을 준다.

chmod 755 파일명

 

다음으로 Log 및 Pid 디렉터리를 지정해줘야 한다.

mkdir /var/log/storm
mkdir /var/run/storm

 

그리고 세 파일에 대해 아래의 service/chkconfig 등록 명령을 실행한다. 순서대로 실행해야 한다.

service storm-nimbus start
service storm-supervisor start
service storm-ui start

 

모두 잘 기동되는지 확인한다.

service storm-nimbus status
service storm-supervisor status
service storm-ui status

 

 

이제 storm ui에 접속해보자. 잘들어가지면 성공이다.

server02.hadoop.com:8088/index.html