지구정복

1. What are Kafka Consumer Groups?Kafka 소비자는 컨슈머 그룹(consumer group)의 일부로 동작할 수 있으며, 하나 이상의 소비자가 같은 토픽에서 메시지를 소비할 수 있습니다.이들은 서로 간섭하지 않고 하나의 메시지 스트림을 읽습니다.하지만 왜 컨슈머 그룹이 필요한 걸까요? 1.1. Need for Consumer GroupsKafka 설계에서 확장성(Scalability)은 필수적인 요소입니다. 확장을 용이하게 하기 위해, Kafka 토픽은 여러 프로듀서가 이벤트를 기록하고 여러 컨슈머가 해당 이벤트를 구독할 수 있도록 설계되어 있습니다.Kafka 토픽에서 메시지를 읽는 클라이언트 애플리케이션을 생각해봅시다. 이 애플리케이션은 컨슈머 객체를 생성하고, 적절한 토픽..

1. What is a Kafka Producer?카프카 프로듀서는 토픽에 메시지를 보내는 주체이다.이때 메시지는 다음과 같은 내용들을 포함한다.-메시지는 어떤 데이터든 될 수 있고, 바이트배열로 직렬화 되어야 한다.-메시지의 키에 따라 토픽에 어느 파티션에 쓰여질 지 정해진다.-프로듀서는 메시지의 타임스탬프를 적는다.(선택적)-압축 타입은 메시지의 크기를 줄인다.(선택적)-메시지의 헤더에는 추가적인 메타데이터가 포함된다.(선택적)-브로커는 메시지를 수신하면 파티션과 offset ID를 추가한다. 프로듀서는 적절한 구조로 메시지를 만들고 메시지를 카프카 토픽에 보내는 역할을 한다. 1.1. Connecting your producer to Kafka프로듀서는 일단 카프카 bootstrap server(카..

해당 글 번역https://www.redpanda.com/guides/kafka-architecture 1. Kafka Architecture카프카는 분산된 이벤트 처리 플랫폼이다.카프카는 메시지의 순서, 메시지 손실 제로, 정확히 한번 처리 등을 보장하는 시스템이다. 이제 카프카의 기본 요소들에 대해서 알아본다. 2. Summary of Key Kafka Architecture ConceptsComponentDescriptionKafka분산 메시지 처리 시스템Event카프카로 들어오는 데이터 혹은 카프카가 작성한 데이터를 의미(=message, =data)Broker데이터(Event)를 받는 카프카 서버이며 브로커들이 모여서 하나의 카프카 시스템을 구성한다.즉, 카프카를 구성하는 서버Produce..

공식문서 : kafka.apache.org/documentation/#design_pull 1. Topic, Producer, Consumer 생성하고 메시지 보내기 더보기 명령어는 다음과 같다. -토픽의 생성 kafka-topics --create --zookeeper 서버명:2181 --replication-factor 복제할개수 --partitions 파티션할개수 --topic 토픽이름 kafka-topics --create --zookeeper server02.hadoop.com:2181 --replication-factor 1 --partitions 1 --topic Example --replication-factor 1 : 복제본을 생성할 수 있다. 복제본이란 Zookeeper가 메인(lead..