일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 코딩
- Kafka
- 알고리즘
- apache iceberg
- bigdata engineer
- Spark
- java
- 코테
- Linux
- 맛집
- HIVE
- 개발
- Data Engineer
- 영어
- hadoop
- 여행
- 코딩테스트
- 백준
- 코엑스맛집
- BigData
- bigdata engineering
- 삼성역맛집
- Data Engineering
- 용인맛집
- Trino
- pyspark
- 프로그래머스
- Iceberg
- Apache Kafka
- 자바
- Today
- Total
목록데이터 엔지니어링 정복 (430)
지구정복

저번 게시글에 이어서 이번에는 metricbeat와 filebeat에서 생성된 데이터를 logstash로 보내서 전처리 작업이후 elasticsearch로 적재된 뒤 kibana에서 데이터를 시각화해서 보는 작업들을 진행해보려고 한다. 구축과정 게시글은 아래 참고 https://earthconquest.tistory.com/266 [Elastic Stack] AWS 리눅스 단일서버 이용해서 ELK 구축하기 1. AWS에서 EC2 인스턴스 생성 더보기 서버 사양은 다음과 같다. m4.xlarge: 4 vCPU / 16GB OS: Amazon Linux2 AMI EBS: 200GB 비용은 아마존 비용설명 참고! 요금폭탄 맞을수도 있으니 사용하지 않을 때는 중지시.. earthconquest.tistory.c..

1. AWS에서 EC2 인스턴스 생성 더보기 서버 사양은 다음과 같다. m4.xlarge: 4 vCPU / 16GB OS: Amazon Linux2 AMI EBS: 200GB 비용은 아마존 비용설명 참고! 요금폭탄 맞을수도 있으니 사용하지 않을 때는 중지시키고 더 이상 쓰지않을 때는 종료해서 인스턴스를 없애주자! 이틀정도 사용했는데 예상금액이 2만원 ... ㅎㅎ AWS에 로그인하고 EC2 서비스에 들어간다. 그리고 인스턴스 시작을 누른다. 아마존 리눅스2 AMI를 선택 밑으로 내려서 m4 유형을 선택한다. 검토 및 시작을 누른뒤 시작하기를 누른다. 그러면 기존 키페어 사용 및 키페어 생성 문구가 나오고 아래와 같이 새로운 키페어를 만들어준다. 보안그룹에서 모든 TCP에 대해서 0.0.0.0/0을 허용해준..
-자바 bfs package bfs_dfs; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.LinkedList; import java.util.Queue; import java.util.StringTokenizer; public class Virus1 { public static int[][] arr; public static boolean[] visit; public static int sum = 0; private static void bfs( int start ) { Queue q = new LinkedList(); q.add( start ); vis..
-문제 https://www.acmicpc.net/problem/1260 -자바 package bfs_dfs; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.util.LinkedList; import java.util.Queue; import java.util.StringTokenizer; public class BJ1260 { static int n,m,v; static int[][] map; static boolean[] visit; static StringBuffer sb = new StringBuffer(); public static void main(Str..