일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 자바
- Spark
- BigData
- bigdata engineering
- Data Engineering
- bigdata engineer
- 맛집
- 영어
- Kafka
- 프로그래머스
- 여행
- 용인맛집
- Iceberg
- 코엑스맛집
- Trino
- Apache Kafka
- 코딩테스트
- 백준
- pyspark
- Data Engineer
- HIVE
- 코테
- Linux
- 개발
- hadoop
- apache iceberg
- 삼성역맛집
- java
- 알고리즘
- 코딩
- Today
- Total
목록데이터 엔지니어링 정복 (429)
지구정복
내 환경 하둡 3.3.0 하이브 3.1.2 먼저 자신의 하이브 디렉터리 lib에서 hive-contrib-3.1.2.jar를 찾는다. 버전은 다를 수 있다. cd hive/lib/ ll hive-contrip* 그리고 hive를 실행해서 아래 명령어로 위 라이브러리를 하이브에 추가시키고 함수를 만들어준다. #라이브러리 추가 hive>add jar /home/hadoop01/hive/lib/hive-contrib-3.1.2.jar; #auto increment 함수 생성 hive>create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence'; 그리고 auto increment를 진행할 테이블을 만든다...
플럼을 이용해서 데이터를 hdfs에 적재하다가 아래와 같은 에러를 만났다 ㅎㅎ 에러는 항상 정말 반갑다 ㅎㅎㅎㅎㅎㅎ하하 Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) at or..
-파이썬 N, M, K = input().split(" ") N = int(N) M = int(M) K = int(K) nums = input().split(" ") for i in range( 0, N ): nums[i] = int( nums[i] ) sum = 0 maxNum = max( nums ) nums.remove( maxNum ) maxNum2 = max( nums ) # 리스트안에 최대값이 중복일 때 for i in range( 0, N-1 ): if maxNum == nums[i]: sum = maxNum * M break; if sum == 0: for i in range( 1, M+1 ): if i % K == 0: sum += maxNum2 else: sum += maxNum pri..
-자바 package greedy; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.util.StringTokenizer; public class DNA { private static BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(System.out)); private static char toChar( int a, int t, int g, int c, int max ) { if( max..