지구정복

참고하면 좋은 블로그글 https://colevelup.tistory.com/18 1. Kafka partitionApache Kafka는 고성능 데이터 파이프라인과 스트리밍 분석을 위한 오픈 소스 분산 이벤트 스트리밍 플랫폼입니다.Kafka의 확장성(scalability)과 성능(performance)을 가능하게 하는 핵심 요소 중 하나는 토픽(topic)과 파티션(partition)이라는 개념입니다.Kafka에서 메시지는 “토픽”에 기록됩니다.토픽은 이벤트의 논리적인 그룹으로, 생산자(producer)와 소비자(consumer)가 메시지를 분류하는 데 도움을 줍니다.이러한 토픽은 Kafka 브로커에 저장됩니다.Kafka는 토픽을 더 작은 단위인 파티션(partition)으로 나눕니다.파티션은 추가 ..

1. What are Kafka Topics?Kafka의 아키텍처는 세 가지 구성 요소로 구성됩니다: 프로듀서, 컨슈머, 그리고 브로커. 데이터는 메시지 형태로 프로듀서에서 컨슈머로 흐르며, 이 과정에서 브로커에 저장된 Kafka 토픽을 통해 이루어집니다. 토픽은 데이터 흐름을 조직하고 분배하는 논리적 채널 역할을 합니다. 토픽은 여러 개의 파티션으로 나누어집니다. 파티션은 불변의 순서로 시간에 따라 정렬된 메시지의 하위 집합을 포함합니다. Kafka는 여러 브로커—Kafka 클러스터의 노드—에 파티션을 복제하여 장애 허용성을 보장합니다. 파티션을 호스팅하는 브로커가 실패할 경우 Kafka는 자동으로 다른 브로커에 호스팅된 복제본으로 장애 조치를 수행하여 데이터 가용성과 서비스 연속성을 보장합니다. 토픽..

1. Kafka ClusterKafka 클러스터는 서로 연결된 Kafka 브로커들의 집합으로, Kafka 시스템으로 들어오고 나가는 데이터 스트림을 함께 관리합니다.각 브로커는 별도의 머신에서 독립적인 프로세스로 실행되며, 신뢰성 높고 고속인 네트워크를 통해 다른 브로커들과 통신합니다.그렇다면 왜 Apache Kafka 클러스터를 사용해야 할까요? 그리고 그것이 어떻게 도움이 될까요?사용자 활동이 증가함에 따라, 들어오는 데이터 스트림의 양과 속도를 감당하기 위해 추가적인 Kafka 브로커가 필요하게 됩니다.Kafka 클러스터는 데이터 파티션을 여러 브로커에 복제(replication)할 수 있게 하여, 노드 장애가 발생하더라도 고가용성(high availability)을 유지할 수 있도록 합니다.이를 ..

1. Kafka Broker브로커는 Apache Kafka 생태계의 핵심 연산 노드 또는 서버입니다.브로커는 메시지를 변경 불가능한 순서대로 저장하는 토픽 파티션(로그 파일)을 포함하고 있습니다.프로듀서(생산자)는 메시지를 Kafka 브로커로 보내고, 브로커는 이 데이터를 여러 파티션에 걸쳐 저장합니다.컨슈머(소비자)는 자신이 구독한 토픽에서 데이터를 가져오기 위해 브로커에 연결합니다.Kafka 브로커는 시스템 장애가 발생하더라도 소비자에게 데이터를 신뢰성 있게 제공하는 것을 보장합니다. 2. Core Functions of Kafka Brokers2.1. Message Management프로듀서가 토픽에 메시지를 발행하면, 브로커는 프로듀서가 지정한 키(키를 기준으로 파티션이 결정됨)에 따라 또는 ..