지구정복

Ambari AlertsAmbari Alert 기능은 Ambari에서 룰기반으로 사전 정의된 알림(Notification) 기능으로,주요 컴포넌트들에 대한 서비스 상태를 체크하고(health check) 특정 임계치를 넘었을때 알림을 주어 하둡 클러스터를 운영하는데 도움을 줍니다.Ambari alert 을 Email 로 받도록 설정하면 Ambari Web 을 접속하지 않고도 메일 알림으로 하둡 클러스터 상태를 모니터링 할 수 있습니다. 암바리에 관리자 계정 접속후 왼쪽 메뉴의 Alerts 클릭 우측 ACTIONS에서 여러가지 설정 가능 Alerts ACTIONSManage Alert GroupsAlert 할 대상 컴포넌트 및 서비스를 그룹화 할 수 있습니다.Ambari 에는 이미 컴포넌트별 그룹..

1. 기본 개념1.1. Data Modelhbase는 쉽게말하면 엑셀 스프레이드 시트와 비슷하다.참고할 점은 HBase table에 저장된 데이터(row)는 고유한 row key를 가진다.그리고 column들은 비슷한 성격의 column들끼리 column family로 묶인다. 엑셀 스프레이드 시트로 예시를 든다면 아래와 같다. 위 스프레이드시트를 이해하기 쉽게 HBase의 Table이라고 하자. -Row Keyrow key는 각 row(데이터)의 유니크한 값으로 이 row key를 활용하여 읽고자하는 데이터를 빠르게 읽을 수 있다. -Column Famiily컬럼 패밀리는 유사한 컬럼들을 묶는 집합이다. 위 예시에서 info, activity라는 column family들이 존재하고 info에는 유..

카프카 도구는 Apache Kafka 클러스터의 관리, 모니터링 및 최적화를 간소화하기 위해 설계된 특수 유틸리티 및 애플리케이션입니다.시스템이 확장됨에 따라 카프카 클러스터 관리가 매우 복잡해질 수 있습니다. 카프카 도구는 클러스터의 주요 메트릭을 모니터링하고 확장성을 개선하는 등의 매우 반복적인 관리 작업을 간소화하고 자동화합니다. 클러스터 관리 외에도 카프카 도구는 모니터링 및 보안 구성도 간소화하며, 관리자가 세분화된 액세스 정책을 정의할 수 있도록 합니다. 카프카 도구는 전반적인 기능을 강화하여 조직이 운영 복잡성을 줄이면서 실시간 데이터 스트림을 활용할 수 있도록 합니다. 사용하기 쉬운 인터페이스 덕분에 초보자라도 카프카를 더 쉽게 다룰 수 있게 됩니다. 이 장에서는 다양한 카프카 도구를 탐구..

Apache ZooKeeper™는 분산 작업의 중앙 집중식 조정 서비스입니다. 주 서버 선출, 그룹 구성원 관리, 구성 정보 제공, 네이밍 및 대규모 동기화와 같은 일반적인 조정 작업을 수행합니다. ZooKeeper의 주요 목표는 분산 시스템의 운영을 보다 간단하게 하고, 시스템 내 복제본 간에 개선되고 더 신뢰할 수 있는 변경 전파를 공급하는 것입니다. Apache Kafka는 여러 서버(브로커)에서 실행되는 분산 퍼브-섭(pub-sub) 메시징 시스템입니다.브로커들은 서로 조정해야 하며, 카프카의 초기 몇 년 동안은 ZooKeeper가 이러한 조정을 제공했습니다.그러나 최근에는 KRaft라는 또 다른 소프트웨어 구성 요소로 대체되었습니다.이 장에서는 카프카 ZooKeeper, 그 한계 및 관련 대안에..