지구정복

1. What are Kafka Consumer Groups?Kafka 소비자는 컨슈머 그룹(consumer group)의 일부로 동작할 수 있으며, 하나 이상의 소비자가 같은 토픽에서 메시지를 소비할 수 있습니다.이들은 서로 간섭하지 않고 하나의 메시지 스트림을 읽습니다.하지만 왜 컨슈머 그룹이 필요한 걸까요? 1.1. Need for Consumer GroupsKafka 설계에서 확장성(Scalability)은 필수적인 요소입니다. 확장을 용이하게 하기 위해, Kafka 토픽은 여러 프로듀서가 이벤트를 기록하고 여러 컨슈머가 해당 이벤트를 구독할 수 있도록 설계되어 있습니다.Kafka 토픽에서 메시지를 읽는 클라이언트 애플리케이션을 생각해봅시다. 이 애플리케이션은 컨슈머 객체를 생성하고, 적절한 토픽..

1. What is a Kafka Producer?카프카 프로듀서는 토픽에 메시지를 보내는 주체이다.이때 메시지는 다음과 같은 내용들을 포함한다.-메시지는 어떤 데이터든 될 수 있고, 바이트배열로 직렬화 되어야 한다.-메시지의 키에 따라 토픽에 어느 파티션에 쓰여질 지 정해진다.-프로듀서는 메시지의 타임스탬프를 적는다.(선택적)-압축 타입은 메시지의 크기를 줄인다.(선택적)-메시지의 헤더에는 추가적인 메타데이터가 포함된다.(선택적)-브로커는 메시지를 수신하면 파티션과 offset ID를 추가한다. 프로듀서는 적절한 구조로 메시지를 만들고 메시지를 카프카 토픽에 보내는 역할을 한다. 1.1. Connecting your producer to Kafka프로듀서는 일단 카프카 bootstrap server(카..