지구정복

기본적으로 NiFi의 로그는 logback.xml 파일에서 설정을 할 수 있지만 현재 내가 사용하고 있는 Ambari에서는 해당 파일의 설정을 Ambari에서 수정할 수가 없었다. 각 NiFi 서버들에 직접 접속해서 logback.xml을 수정해도 되겠지만 Ambari에서 NiFi을 재기동하면 설정이 초기화된다. 따라서 일단 log rotate 패키지를 활용해서 NiFi log가 너무 많이 쌓이지 않도록 관리를 한다. 1. logrotate 설치 및 설정# dnf install logrotate # vim /etc/logrotate.d/nifi/var/log/nifi/nifi-app_*.log { daily rotate 15 missingok notifempty cr..

NiFi 1.15.2Spark 3.1.4Iceberg 1.3.1Hive 3.1.3 마지막 HDFS에 저장된 gzip.parquet 파일을 읽어서 Iceberg Table로 적재하는 PySpark Streaming을 실행한다. 미리 Iceberg Table은 생성되어야 있어야 하므로 PySpark로 만들어준다.#iceberg table 생성쿼리q="""CREATE TABLE iceberg_test_db.test_table_name ( data STRING, log_timestamp timestamp_ntz)USING icebergPARTITIONED BY (days(log_timestamp))TBLPROPERTIES ( 'read.parquet.vectorization.enabled..

업무간 사용하는 프로세서에 대해서 공부해보자 NiFi 1.15.2 사용중이다. ListenUDP설명:Listens for Datagram Packets on a given port. The default behavior produces a FlowFile per datagram, however for higher throughput the Max Batch Size property may be increased to specify the number of datagrams to batch together in a single FlowFile. This processor can be restricted to listening for datagrams from a specific remote host and..