[Virtual Machine 구성] CentOS 설치 및 환경구성, 가상서버 복제, 클라우데라 매니저 설치

1. CentOS 설치하기(6.10 구버전) 및 가상서버 만들기

아래 사이트 접속

www.centos.org/

The CentOS Project

 

오른쪽 위 메뉴에서 Download클릭

 

왼쪽 작은 메뉴탭에서 Older Versions 클릭 -> then click here. 클릭

 

밑으로 스크롤 내리면 아래와 같이 6버전이 있다. 여기서 6.10 Tree 클릭

 

아래 디렉터리에서 isos/x86_64/CentOS-6.10-x86_64-LiveDVD.iso 클릭해서 설치한다.

 

버추얼 박스에서 새로 만들기 

 

램크기는 2048

 

아래 과정 진행

 

저장공간은 30~40으로 설정한다.

현재 자신의 PC C드라이브에 최소한 120GB의 여유공간이 있어야 한다.
없을 경우 저장공간은 20정도로 줄여서 만든다.

 

 

이제 서버에 대한 네트워크 설정을 해준다.

아래처럼 초기값이 잘 설정되어있는 지 확인해준다. 이상없으면 어댑터2로 넘어간다.

 

아래처럼 어댑터2에 들어와서 네트워크 어댑터 사용하기에 체크하고

다음에 연결됨을 호스트 전용 어댑터로 변경,

무작위 모드를 모두 허용으로 변경해주고 확인 클릭하면 네트워크 설정이 끝났다.

 

이제 아까 위에서 다운받은 CentOS 리눅스 서버를 Import 시켜보자.

Server1 -> 설정 -> 저장소에 들어간다. 5번에서 가상 광 디스크 파일 선택을 누른다.

 

다운받은 .iso 파일을 선택하고 확인을 누른다.

 

이제 Server01을 누르고 시작 버튼을 클릭한다.

 

아래처럼 리눅스 Gui가 실행된다. 이때 5에서 0으로 카운트되는데 이때 엔터키를 눌러준다.

 

0까지 카운트되기 전에 엔터를 누르면 아래와 같은 화면이 뜬다.

 

그리고 Install 해준다. 이때 마우스 잡기하라고 예 아니요 버튼 뜨는데 아니요를 눌러준다.

 

Install하면 CentOS 6.10버전이 설치된다.

 

 

---

2. CentOS 환경구성

1. 네트워크 및 커널 등 설정

 

CentOS 설치후 기본값을 설정한다.

언어는 영어선택

 

Basic Storage Devices를 누르고 아래처럼 클릭

 

 호스트명은 아래와 같이 적는다.

 

지도에서 한국 클릭

 

root password는 adminuser로 설정했다. 비밀번호가 약하다고 나오는데 그냥 use 클릭

 

모든 공간 사용하기 클릭

 

아래처럼 디스크 변경사항 기록하기 클릭

 

그러면 아래와 같이 설치가 진행된다.

 

설치완료. 이제 import되어있는 iso를 제거해보자.

 

아래 순서대로 iso파일을 버추얼박스에서 제거한다.

 

삭제를 눌러준다.

 

다시 Server01을 시작한다.

 

동의하고 다음

 

모두 'bigdata'라고 입력해주고 다음. 비밀번호 약하다고 나오면 yes를 누른다.

그리고 싱크로나이즈 시간 체크해주고 다음

 

kdump를 체크 해제해주고 피니시를 누른다.

 

yes 클릭

 

ok클릭

 

 아까 bigdata계정을 로그인한다.

 

Terminal에 들어간다.

 

이제 터미널에서만 작업하기 위해 현재보이는 gui인 x-window를 해제할 것이다.

명령어를 아래와 같이 입력

su root
adminuser
vi /etc/inittab

 

아래에 id값을 5에서 3으로 변경해준다.

i
(수정)
'esc'
:wq

i 누르고 수정한 다음 esc -> :wq를 눌러서 vi 수정한 것을 저장하고 종료

 

그리고 서버를 재시작한다. 그러면 아까처럼 gui 로그인창이 안뜨고 바로 터미널에서 로그인하는 창이 뜨게된다.

reboot

 

로그인은 root계정으로 한다.

root
adminuser

 

이제 Server01 가상머신에 고정IP와 네트워크 설정을 진행해보자.

ifcfg-eth0파일을 만들어야한다.

vi /etc/sysconfig/network-scripts/ifcfg-eth0
i

 

아래 내용을 모두 적어준다. 이때 HWADDR은 각 pc마다 다른 값이다.

아래처럼 확인해주고 두 자리마다 : 를 붙여서 적어준다.

 

다 적어주었으며 저장하고 VI편집기 종료한다.

'esc'
:wq

 

다음으로 네트워크 룰을 삭제해서 네트워크 충돌을 방지한다.

vi /etc/udev/rules.d/70-persistent-net.rules
d		#d누르면 한 줄씩 삭제됨
:wq

 

그리고 Server01 가상머신을 버추얼박스에서 재시작해야 한다. 명령어창에서 reboot말고 버추얼박스에서 재시작하자.

 

그리고 network를 restart해준 뒤 Server01의 고정 IP가 잘 할당됐는지 확인한다.

service network restart
ifconfig eth0

 

그리고 SSH접속을 위한 패키지를 설치한다.

yum install openssh* -y
service sshd restart
chkconfig sshd on
reboot

#리부팅 완료되면 네트워크 설정 재시작
service network restart

 

 이제 Putty를 이용해서 SSH접속이 잘 되는 지 확인한다.

아래처럼 Putty로 접속이 잘되면 된다.

 

이제 Server01의 호스트정보를 수정해준다.

vi /etc/hosts
i

 

호스트명도 수정해준다.

vi /etc/sysconfig/network
i

 

네트워크설정 재시작

service network restart

 

 

 

 

---

2. 가상머신복제

먼저 켜져있는 모든 서버를 종료한다.

아래처럼 Server01의 오른쪽클릭 누른 뒤 복제를 누른다.

 

새 가상머신 이름을 설정하고 Mac주소 초기화를 체크한다.

 

완전한 복제 클릭

 

아래 단계를 위와똑같이 진행하면된다.

 

root계정으로 로그인한 뒤 MAC정보와 고정IP주소를 수정하자

네트워크 룰 모두 주석처리 또는 삭제

서버종료 및 재실행

호스트파일 및 호스트명 수정(Server02)

 

순서로 가상머신을 복제하면된다.

 

메모리 수정은 아래와 같이 진행한다.

---

3. 클라우데라 매니저 설치하기

먼저 클라우데라 매니저는 빅데이터 에코시스템을 쉽게 설치하고 관리해주는 자동화 도구이다. 

주요 기능은 다음과 같다.

프로비저닝 : 하둡 에코시스템을 편리하게 설치, 삭제, 수정관리

매니지먼트 : 설치한 에코시스템의 설정 변경 및 최적화 지원

모니터링 : 하드웨어 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드

 

SSH를 통해 Server01에 접속한다.

 

root디렉터리로 이동하여 아래 명령어 실행

2021년 2월부터 정책변경으로 일반 사용자는 다운이 불가ㅠ

cd /root
wget https://archive.cloudera.com/cm6/6.3.1/redhat6/yum/cloudera-manager.repo
mv /root/cloudera-manager.repo /etc/yum.repos.d

 

이제 JDK 1.8, CM데몬, 서버를 설치한다.

yum install oracle-j2sdk1.8 -y

yum install cloudera-manager-daemons -y

 

이제 CM내부에서 사용하는 DB를 사용한다. DB는 PostgreSQL을 설치한다.

yum install cloudera-manager-server-db-2

service cloudera-scm-server-db start

 

이제 PostgreSQL 서버의 원격 접근 제한을 해제한다.

vi /var/lib/cloudera-scm-server-db/data/pg_hba.conf

host all cloudera-scm, scm 0.0.0.0/0 reject 에서 reject를 md5로 변경해서 원격에서 DB를 다룰 수 있도록 한다.
그리고 가장 마지막 줄 아래에 아래 코드를 추가해서 PostgreSQL에 모든 접근을 허용한다.

host all all 0.0.0.0/0 trust

 

변경된 설정을 반영하기 위해 DB를 재기동한다.

service cloudera-scm-server-db restart

service cloudera-scm-server start
service cloudera-scm-server status	#잘 가동되는 지 확인 running...메시지가 뜨면 잘 가동되는 것이다.

그리고 이제 윈도우에서 원격으로 하둡서버를 접속해서 사용할 것이기 때문에 C:\Windows\System32\drivers\etc\hosts 파일을 수정한다. 이 내용은 그 전 글을 참고하길 바란다.