지구정복

python3.8kafka 2.8.2 기존에 NiFi로 UDP데이터 받은 뒤 Kafka에 프로듀싱하는 작업을 진행했었는데데이터 유실이 발생하였다. NiFi가 문제라고 확정지을 수 없지만 NiFi에서 처리됐던 것들을 Python으로 구현해서 데이터 유실이 생기는지 확인한다. 현재 Load Balancer Server로부터 NiFi 4대 서버로 UDP데이터를 보내주고 있고, 포트는 8888이다. LB -(udp, 8888)-> NiFi Nodes 각 NiFi node에 python프로그램을 만든다. 모든 NiFi 노드들 (dn001~004, 4대) ssh myuser@dn001~dn004 mkdir -p 01.listenUdp/log 01.listenUdp/src cd 01.listenUdp/src vi..