지구정복

Ambari AlertsAmbari Alert 기능은 Ambari에서 룰기반으로 사전 정의된 알림(Notification) 기능으로,주요 컴포넌트들에 대한 서비스 상태를 체크하고(health check) 특정 임계치를 넘었을때 알림을 주어 하둡 클러스터를 운영하는데 도움을 줍니다.Ambari alert 을 Email 로 받도록 설정하면 Ambari Web 을 접속하지 않고도 메일 알림으로 하둡 클러스터 상태를 모니터링 할 수 있습니다. 암바리에 관리자 계정 접속후 왼쪽 메뉴의 Alerts 클릭 우측 ACTIONS에서 여러가지 설정 가능 Alerts ACTIONSManage Alert GroupsAlert 할 대상 컴포넌트 및 서비스를 그룹화 할 수 있습니다.Ambari 에는 이미 컴포넌트별 그룹..

1. What is a Kafka offset?카프카의 운영 구조는 프로듀서, 소비자, 그리고 브로커로 구성됩니다. 프로듀서는 카프카 주제에 메시지를 생성하는 애플리케이션입니다. 카프카 브로커는 프로듀서로부터 메시지를 수신하고 이를 지속적으로 저장합니다. 소비자는 카프카 주제로부터 데이터를 읽는 애플리케이션입니다. 카프카 주제는 특정 비즈니스 목표와 관련된 데이터의 논리적인 그룹입니다. 주제는 병렬 처리를 지원하기 위해 파티션으로 나뉩니다. 카프카는 파티션 내에서 메시지를 추적하기 위해 오프셋이라는 식별자를 사용합니다. 모든 메시지는 고유한 오프셋 또는 식별값을 가집니다. 내부적으로 카프카는 메시지를 로그에 기록하며, 카프카 오프셋은 해당 파티션의 로그 내에서 메시지의 위치를 나타냅니다. 이는..

1. Kafka ClusterKafka 클러스터는 서로 연결된 Kafka 브로커들의 집합으로, Kafka 시스템으로 들어오고 나가는 데이터 스트림을 함께 관리합니다.각 브로커는 별도의 머신에서 독립적인 프로세스로 실행되며, 신뢰성 높고 고속인 네트워크를 통해 다른 브로커들과 통신합니다.그렇다면 왜 Apache Kafka 클러스터를 사용해야 할까요? 그리고 그것이 어떻게 도움이 될까요?사용자 활동이 증가함에 따라, 들어오는 데이터 스트림의 양과 속도를 감당하기 위해 추가적인 Kafka 브로커가 필요하게 됩니다.Kafka 클러스터는 데이터 파티션을 여러 브로커에 복제(replication)할 수 있게 하여, 노드 장애가 발생하더라도 고가용성(high availability)을 유지할 수 있도록 합니다.이를 ..

1. Kafka Broker브로커는 Apache Kafka 생태계의 핵심 연산 노드 또는 서버입니다.브로커는 메시지를 변경 불가능한 순서대로 저장하는 토픽 파티션(로그 파일)을 포함하고 있습니다.프로듀서(생산자)는 메시지를 Kafka 브로커로 보내고, 브로커는 이 데이터를 여러 파티션에 걸쳐 저장합니다.컨슈머(소비자)는 자신이 구독한 토픽에서 데이터를 가져오기 위해 브로커에 연결합니다.Kafka 브로커는 시스템 장애가 발생하더라도 소비자에게 데이터를 신뢰성 있게 제공하는 것을 보장합니다. 2. Core Functions of Kafka Brokers2.1. Message Management프로듀서가 토픽에 메시지를 발행하면, 브로커는 프로듀서가 지정한 키(키를 기준으로 파티션이 결정됨)에 따라 또는 ..