[Hadoop, Zookeeper] 기본명령어

-현재 디렉터리에 저장된 파일을 하둡 tmp디렉터리로 옮기기

hdfs dfs -put Sample.txt /tmp

 

-HDFS tmp에 저장되어 있는 파일들 확인

hdfs dfs -ls /tmp

 

-hdfs tmp디렉터리에 저장되어 있는 파일의 내용확인

hdfs dfs -cat /tmp/Sample.txt

 

-파일의 상태 확인(%b: 파일크기, %o: 파일 블록크기, %r: 복제 계수, %u: 소유자명, %n: 파일명)

hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

 

-파일 이름 변경

hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt

 

-파일 시스템 상태 검사 최상위 디렉터리 / 밑에 있는 모든 파일 상태 검사하기

hdfs fsck /

 

-전체크기, 디렉터리 수, 파일 수 , 노드 수 등 파일 시스템의 전체 상태를 보여준다.

hdfs dfsadmin -report

 

-에러로 인해 안전모드 상태로 전환됐을 때 해제하기

hdfs dfsadmin -safemode leave

 

-손상된 파일들 강제로 삭제하기 / 디렉터리 밑에있는 모든 손상파일을 삭제

hdfs fsck / -delete

 

-손상된 파일을 /lost + found 디렉터리로 옮긴다.

hdfs fsck / -move

 

-hdfs에 저장된 파일을 로컬 현재 디렉터리로 가져오기

hdfs dfs -get /tmp/Sample.txt

 

-hdfs의 저장한 파일 삭제(휴지통으로 보내기)

hdfs dfs -rm /tmp/Sample2.txt

 

---

참고 - Zookeeper란?

 

간단히 설명하면 사육사라는 의미이고 Hadoop(코끼리), Hive(꿀벌), Pig(돼지) 등의 하둡 에코시스템 소프트웨어를 관리해주는 사육사이다. 즉, 분산 시스템을 위한 코디네이터이다.

여기서 분산 시스템은 복수의 컴퓨터가 네트워크를 통해 통신하며 하나의 목적을 위해 서로 간에 상호작용하는 것이다. 

 

Zookeeper는 클러스터 구성원 간의 데이터 공유를 위한 데이터 스토리지(영속 데이터/임시 데이터), 클러스 멤버십 관리를 통한 데이터 변경 통지(Watch), 마스터 및 분산 락 등에 활용되는 시퀀스 노드 등을 제공한다.

1. 설정관리(Configuration Management)

2. 분산 클러스터 관리(Distribute Cluster Management)

3. 명명 서비스(Naming Service, DNS)

4. 분산 동기화(Distributed Synchronization : locks, barriers, queues)

5. 분산 시스템에서 리더 선출(Leader Election in a Distributed System)

6. 중앙집중형 신뢰성 있는 데이터 저장소(Centralized and Highly Reliable Data Registry)

 

참고자료 (설명이 친절함) : alnova2.tistory.com/1044

 

 

-주키퍼에 접속하기

zookeeper-client

 

-주키퍼 Z노드 등록/조회/삭제

create /abc bigdata
ls /
get /abc
delete /abc