반응형
Notice
Recent Posts
Recent Comments
Link
지구정복
[Cloudera Manager] Hadoop DataNode 추가하기, HDFS 복제계수 변경 본문
데이터 엔지니어링 정복/Hadoop Ecosystem
[Cloudera Manager] Hadoop DataNode 추가하기, HDFS 복제계수 변경
nooh._.jl 2021. 5. 6. 10:41728x90
반응형
1. Hadoop DataNode 추가하기
아래HDFS에서 역할 인스턴스 추가 클릭
아래 창에서 DataNode부분 사용자 지정
아래처럼 추가하고픈 사용자에 체크를 하고 확인을 누른다. 그리고 계속 클릭하면
데이터 노드가 추가된다.
2. 복제계수 변경
복제계수란 만약에 복제계수가 3인 하둡에 200mb의 특정 파일이 저장되면 각 서버에 블록단위로 쪼개져서 서버1에 128mb, 서버2의 72mb씩 저장되고 각각에 저장된 블록들은 다른 서버들에 또 다시 저장된다.
이는 특정 서버 에러시 다른 서버에 저장된 블록을 사용하게끔하기 위함이다.
기본 복제 계수 값은 3이다.
HDFS 구성탭에서 복제 계수 검색하고 변경할 수 있다. 그리고 변경사항 저장
변경사항을 저장하면 아래와 같이 표시가 뜬다. 해당 표시를 누르자.
변경사항을 반영하는 과정이다. 이전 서비스 재시작을 누르면 반영이 된다.
728x90
반응형
'데이터 엔지니어링 정복 > Hadoop Ecosystem' 카테고리의 다른 글
[Flume, Kafka] 개념 및 아키텍처 (0) | 2021.05.06 |
---|---|
[Hadoop, Zookeeper] 기본명령어 (0) | 2021.05.06 |
[Cloudera Manager] 클라우데라 매니저 이용해서 Hadoop, Zookeeper, Yarn 설치하기 (0) | 2021.05.05 |
[Virtual Machine 구성] CentOS 설치 및 환경구성, 가상서버 복제, 클라우데라 매니저 설치 (0) | 2021.05.03 |
[BigData Architecture] 빅데이터 소프트웨어 및 하드웨어 아키텍처 (0) | 2021.05.03 |
Comments