지구정복

1. 설치하기 더보기 클라우데라 매니저에서 제공하지 않아서 직접 설치해줘야 한다. 먼저 yum명령어를 통해 gcc컴파일러와 tcl을 설치한다. yum install -y gcc* yum install -y tcl 설치위치를 잡아주고 레디스5.0.7을 다운받아서 빌드 및 설치한다. cd /home/pilot-pjt/ wget http://download.redis.io/releases/redis-5.0.7.tar.gz tar -xvf redis-5.0.7.tar.gz cd redis-5.0.7 make make install cd /home/pilot-pjt/redis-5.0.7/utils/ chmod 755 install_server.sh ./install_server.sh #계속 엔터 vi /var/l..

-HBase 명령어 쉘 열기 hbase shell -HBase Table만들기 #create '테이블명', '컬럼패밀리명' create 'example_table', 'cf' -Table에 Row-Key설정 및 컬럼 만들기, 만든 컬럼에 데이터 집어넣기 #put '테이블명' '로우키명', '컬럼패밀리명:컬럼명', '데이터값' put 'example_table', 'row-key', 'cf:col1', '0001' -Table에서 데이터 읽기 #get '테이블명', '로우키명' get 'example_table', 'row-key' -Table 삭제하기 #테이블 사용중지 #disable '테이블명' disable 'example_table' #테이블 삭제 #drop '테이블명' drop 'example_t..

1. 개념 더보기 Storm에서 특이한 데이터만 Redis에 저장하는데 여기서 특이한 데이터를 찾아내는 로직이나 룰을 정의하는 것이 Esper의 역할이다. Esper의 쿼리를 통해서 이러한 로직을 정의할 수 있다. Storm이 대규모의 실시간 데이터를 단순 가공 및 추출 처리하는 데는 문제없지만 실시간으로 발생하는 데이터로부터 복잡하거나 특이한 패턴을 가진 데이터를 찾고, 그 패턴에 따른 각각의 다른 이벤트를 처리하는 것은 어려운 일이다. 실시간으로 발생하는 데이터 간의 관계를 복합적으로 판단 및 처리하는 것을 CEP(Complex Event Processing)라고 하는데 Esper가 바로 CEP 기능을 제공한다. Esper를 이용하면 CEP처리를 위한 다양한 조건과 복합 이벤트를 하나의 룰로 쉽게 정..

1. 개념 더보기 대규모 메시지성 데이터들이 수백 수천건이 발생하고 이를 Kafka에 담는다. Kafka에는 비동기성 대규모 메시지 데이터들을 버퍼링하기 위한 Topic을 제공하고 이 Topic에 있는 데이터를 Consumer가 빠르게 빼내줘야 한다. 왜냐하면 Topic의 메모리 혹은 Broker 디스크의 한계가 발생하기 때문이다. 한계가 발생하기 전에 원천에서 데이터가 빠르게 수백 수천건이 발생한다면 Consumer도 똑같이 빠르게 수백 수천건을 빼서 소비를 해줘야 한다. 그리고 이 데이터들을 영구 저장소인 HDFS, NoSQL, RDBMS, Redis 등에 저장을 해줘야 한다. 따라서 Consumer도 빠르게 데이터를 빼서 소비를 해야 하기 때문에 분산 병렬 처리를 해줘야 한다. 이를 담당하는 것이 ..