지구정복

Ambari AlertsAmbari Alert 기능은 Ambari에서 룰기반으로 사전 정의된 알림(Notification) 기능으로,주요 컴포넌트들에 대한 서비스 상태를 체크하고(health check) 특정 임계치를 넘었을때 알림을 주어 하둡 클러스터를 운영하는데 도움을 줍니다.Ambari alert 을 Email 로 받도록 설정하면 Ambari Web 을 접속하지 않고도 메일 알림으로 하둡 클러스터 상태를 모니터링 할 수 있습니다. 암바리에 관리자 계정 접속후 왼쪽 메뉴의 Alerts 클릭 우측 ACTIONS에서 여러가지 설정 가능 Alerts ACTIONSManage Alert GroupsAlert 할 대상 컴포넌트 및 서비스를 그룹화 할 수 있습니다.Ambari 에는 이미 컴포넌트별 그룹..

기본적으로 NiFi의 로그는 logback.xml 파일에서 설정을 할 수 있지만 현재 내가 사용하고 있는 Ambari에서는 해당 파일의 설정을 Ambari에서 수정할 수가 없었다. 각 NiFi 서버들에 직접 접속해서 logback.xml을 수정해도 되겠지만 Ambari에서 NiFi을 재기동하면 설정이 초기화된다. 따라서 일단 log rotate 패키지를 활용해서 NiFi log가 너무 많이 쌓이지 않도록 관리를 한다. 1. logrotate 설치 및 설정# dnf install logrotate # vim /etc/logrotate.d/nifi/var/log/nifi/nifi-app_*.log { daily rotate 15 missingok notifempty cr..

1. 기본 개념1.1. Data Modelhbase는 쉽게말하면 엑셀 스프레이드 시트와 비슷하다.참고할 점은 HBase table에 저장된 데이터(row)는 고유한 row key를 가진다.그리고 column들은 비슷한 성격의 column들끼리 column family로 묶인다. 엑셀 스프레이드 시트로 예시를 든다면 아래와 같다. 위 스프레이드시트를 이해하기 쉽게 HBase의 Table이라고 하자. -Row Keyrow key는 각 row(데이터)의 유니크한 값으로 이 row key를 활용하여 읽고자하는 데이터를 빠르게 읽을 수 있다. -Column Famiily컬럼 패밀리는 유사한 컬럼들을 묶는 집합이다. 위 예시에서 info, activity라는 column family들이 존재하고 info에는 유..

카프카 클라이언트는 애플리케이션이 카프카 브로커와 상호작용할 수 있도록 해주는 라이브러리입니다. 클라이언트는 주제로 메시지를 생산하고, 주제로부터 메시지를 소비하며, 관리 작업을 수행하는 등의 다양한 작업을 가능하게 합니다. 카프카 클라이언트는 애플리케이션과 카프카를 연결하여 카프카의 스트리밍 기능을 다른 소프트웨어 시스템에 통합할 수 있도록 합니다. 1. Best practices in Kafka client configurations카프카 클라이언트와 작업할 때 모범 사례를 구현하면 애플리케이션 내에서 효율적이고 신뢰할 수 있으며 안전한 메시지 처리를 보장할 수 있습니다. 고려해야 할 몇 가지 사항은 다음과 같습니다. 1.1. Throughput optimization지연 시간과 처리량 간의 균형을..