지구정복

기본적으로 NiFi의 로그는 logback.xml 파일에서 설정을 할 수 있지만 현재 내가 사용하고 있는 Ambari에서는 해당 파일의 설정을 Ambari에서 수정할 수가 없었다. 각 NiFi 서버들에 직접 접속해서 logback.xml을 수정해도 되겠지만 Ambari에서 NiFi을 재기동하면 설정이 초기화된다. 따라서 일단 log rotate 패키지를 활용해서 NiFi log가 너무 많이 쌓이지 않도록 관리를 한다. 1. logrotate 설치 및 설정# dnf install logrotate # vim /etc/logrotate.d/nifi/var/log/nifi/nifi-app_*.log { daily rotate 15 missingok notifempty cr..

1. 기본 개념1.1. Data Modelhbase는 쉽게말하면 엑셀 스프레이드 시트와 비슷하다.참고할 점은 HBase table에 저장된 데이터(row)는 고유한 row key를 가진다.그리고 column들은 비슷한 성격의 column들끼리 column family로 묶인다. 엑셀 스프레이드 시트로 예시를 든다면 아래와 같다. 위 스프레이드시트를 이해하기 쉽게 HBase의 Table이라고 하자. -Row Keyrow key는 각 row(데이터)의 유니크한 값으로 이 row key를 활용하여 읽고자하는 데이터를 빠르게 읽을 수 있다. -Column Famiily컬럼 패밀리는 유사한 컬럼들을 묶는 집합이다. 위 예시에서 info, activity라는 column family들이 존재하고 info에는 유..

카프카 클라이언트는 애플리케이션이 카프카 브로커와 상호작용할 수 있도록 해주는 라이브러리입니다. 클라이언트는 주제로 메시지를 생산하고, 주제로부터 메시지를 소비하며, 관리 작업을 수행하는 등의 다양한 작업을 가능하게 합니다. 카프카 클라이언트는 애플리케이션과 카프카를 연결하여 카프카의 스트리밍 기능을 다른 소프트웨어 시스템에 통합할 수 있도록 합니다. 1. Best practices in Kafka client configurations카프카 클라이언트와 작업할 때 모범 사례를 구현하면 애플리케이션 내에서 효율적이고 신뢰할 수 있으며 안전한 메시지 처리를 보장할 수 있습니다. 고려해야 할 몇 가지 사항은 다음과 같습니다. 1.1. Throughput optimization지연 시간과 처리량 간의 균형을..

카프카 도구는 Apache Kafka 클러스터의 관리, 모니터링 및 최적화를 간소화하기 위해 설계된 특수 유틸리티 및 애플리케이션입니다.시스템이 확장됨에 따라 카프카 클러스터 관리가 매우 복잡해질 수 있습니다. 카프카 도구는 클러스터의 주요 메트릭을 모니터링하고 확장성을 개선하는 등의 매우 반복적인 관리 작업을 간소화하고 자동화합니다. 클러스터 관리 외에도 카프카 도구는 모니터링 및 보안 구성도 간소화하며, 관리자가 세분화된 액세스 정책을 정의할 수 있도록 합니다. 카프카 도구는 전반적인 기능을 강화하여 조직이 운영 복잡성을 줄이면서 실시간 데이터 스트림을 활용할 수 있도록 합니다. 사용하기 쉬운 인터페이스 덕분에 초보자라도 카프카를 더 쉽게 다룰 수 있게 됩니다. 이 장에서는 다양한 카프카 도구를 탐구..