지구정복

[Cloudera Manager] Hadoop DataNode 추가하기, HDFS 복제계수 변경 본문

데이터 엔지니어링 정복/Hadoop Ecosystem

[Cloudera Manager] Hadoop DataNode 추가하기, HDFS 복제계수 변경

nooh._.jl 2021. 5. 6. 10:41
728x90
반응형

1. Hadoop DataNode 추가하기

아래HDFS에서 역할 인스턴스 추가 클릭

 

아래 창에서 DataNode부분 사용자 지정

 

 

아래처럼 추가하고픈 사용자에 체크를 하고 확인을 누른다. 그리고 계속 클릭하면

데이터 노드가 추가된다.

 


2. 복제계수 변경

복제계수란 만약에 복제계수가 3인 하둡에 200mb의 특정 파일이 저장되면 각 서버에 블록단위로 쪼개져서 서버1에 128mb, 서버2의 72mb씩 저장되고 각각에 저장된 블록들은 다른 서버들에 또 다시 저장된다.

이는 특정 서버 에러시 다른 서버에 저장된 블록을 사용하게끔하기 위함이다.

기본 복제 계수 값은 3이다. 

 

HDFS 구성탭에서 복제 계수 검색하고 변경할 수 있다. 그리고 변경사항 저장

 

변경사항을 저장하면 아래와 같이 표시가 뜬다. 해당 표시를 누르자.

 

변경사항을 반영하는 과정이다. 이전 서비스 재시작을 누르면 반영이 된다.

 

 

 

 

 

 

 

728x90
반응형
Comments