지구정복

python3.8kafka 2.8.2 기존에 NiFi로 UDP데이터 받은 뒤 Kafka에 프로듀싱하는 작업을 진행했었는데데이터 유실이 발생하였다. NiFi가 문제라고 확정지을 수 없지만 NiFi에서 처리됐던 것들을 Python으로 구현해서 데이터 유실이 생기는지 확인한다. 현재 Load Balancer Server로부터 NiFi 4대 서버로 UDP데이터를 보내주고 있고, 포트는 8888이다. LB -(udp, 8888)-> NiFi Nodes 각 NiFi node에 python프로그램을 만든다. 모든 NiFi 노드들 (dn001~004, 4대) ssh myuser@dn001~dn004 mkdir -p 01.listenUdp/log 01.listenUdp/src cd 01.listenUdp/src vi..

카프카 클라이언트는 애플리케이션이 카프카 브로커와 상호작용할 수 있도록 해주는 라이브러리입니다. 클라이언트는 주제로 메시지를 생산하고, 주제로부터 메시지를 소비하며, 관리 작업을 수행하는 등의 다양한 작업을 가능하게 합니다. 카프카 클라이언트는 애플리케이션과 카프카를 연결하여 카프카의 스트리밍 기능을 다른 소프트웨어 시스템에 통합할 수 있도록 합니다. 1. Best practices in Kafka client configurations카프카 클라이언트와 작업할 때 모범 사례를 구현하면 애플리케이션 내에서 효율적이고 신뢰할 수 있으며 안전한 메시지 처리를 보장할 수 있습니다. 고려해야 할 몇 가지 사항은 다음과 같습니다. 1.1. Throughput optimization지연 시간과 처리량 간의 균형을..

카프카 도구는 Apache Kafka 클러스터의 관리, 모니터링 및 최적화를 간소화하기 위해 설계된 특수 유틸리티 및 애플리케이션입니다.시스템이 확장됨에 따라 카프카 클러스터 관리가 매우 복잡해질 수 있습니다. 카프카 도구는 클러스터의 주요 메트릭을 모니터링하고 확장성을 개선하는 등의 매우 반복적인 관리 작업을 간소화하고 자동화합니다. 클러스터 관리 외에도 카프카 도구는 모니터링 및 보안 구성도 간소화하며, 관리자가 세분화된 액세스 정책을 정의할 수 있도록 합니다. 카프카 도구는 전반적인 기능을 강화하여 조직이 운영 복잡성을 줄이면서 실시간 데이터 스트림을 활용할 수 있도록 합니다. 사용하기 쉬운 인터페이스 덕분에 초보자라도 카프카를 더 쉽게 다룰 수 있게 됩니다. 이 장에서는 다양한 카프카 도구를 탐구..

Apache ZooKeeper™는 분산 작업의 중앙 집중식 조정 서비스입니다. 주 서버 선출, 그룹 구성원 관리, 구성 정보 제공, 네이밍 및 대규모 동기화와 같은 일반적인 조정 작업을 수행합니다. ZooKeeper의 주요 목표는 분산 시스템의 운영을 보다 간단하게 하고, 시스템 내 복제본 간에 개선되고 더 신뢰할 수 있는 변경 전파를 공급하는 것입니다. Apache Kafka는 여러 서버(브로커)에서 실행되는 분산 퍼브-섭(pub-sub) 메시징 시스템입니다.브로커들은 서로 조정해야 하며, 카프카의 초기 몇 년 동안은 ZooKeeper가 이러한 조정을 제공했습니다.그러나 최근에는 KRaft라는 또 다른 소프트웨어 구성 요소로 대체되었습니다.이 장에서는 카프카 ZooKeeper, 그 한계 및 관련 대안에..