일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 코딩테스트
- java
- 용인맛집
- Kafka
- 영어
- Data Engineering
- Apache Kafka
- 백준
- HIVE
- 개발
- 알고리즘
- Spark
- Iceberg
- BigData
- bigdata engineering
- hadoop
- 맛집
- Data Engineer
- apache iceberg
- Trino
- bigdata engineer
- 코테
- 프로그래머스
- Linux
- 코딩
- 코엑스맛집
- 삼성역맛집
- 자바
- 여행
- pyspark
- Today
- Total
목록데이터 엔지니어링 정복 (430)
지구정복

내 환경 mysql 5.7.28 먼저 mysql 에 접속한 뒤 아래 명령어로 인코딩타입을 확인한다. show variables like 'c%'; 아래와 같이 latin이 있는 것을 확인할 수 있다. 다시 msyql접속을 끊고 설정파일을 아래와 같이 수정한다. 오타가 나지 않도록 조심한다!! su - root 비번 vi /etc/my.cnf [client-server] !includedir /etc/my.cnf.d [client] default-character-set = utf8 [mysqld] port=3307 datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock symbolic-links=0 log-error=/var/log/mysqld.log pid-..
내 환경 하둡 3.3.0 하이브 3.1.2 먼저 자신의 하이브 디렉터리 lib에서 hive-contrib-3.1.2.jar를 찾는다. 버전은 다를 수 있다. cd hive/lib/ ll hive-contrip* 그리고 hive를 실행해서 아래 명령어로 위 라이브러리를 하이브에 추가시키고 함수를 만들어준다. #라이브러리 추가 hive>add jar /home/hadoop01/hive/lib/hive-contrib-3.1.2.jar; #auto increment 함수 생성 hive>create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence'; 그리고 auto increment를 진행할 테이블을 만든다...
플럼을 이용해서 데이터를 hdfs에 적재하다가 아래와 같은 에러를 만났다 ㅎㅎ 에러는 항상 정말 반갑다 ㅎㅎㅎㅎㅎㅎ하하 Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) at or..
-파이썬 N, M, K = input().split(" ") N = int(N) M = int(M) K = int(K) nums = input().split(" ") for i in range( 0, N ): nums[i] = int( nums[i] ) sum = 0 maxNum = max( nums ) nums.remove( maxNum ) maxNum2 = max( nums ) # 리스트안에 최대값이 중복일 때 for i in range( 0, N-1 ): if maxNum == nums[i]: sum = maxNum * M break; if sum == 0: for i in range( 1, M+1 ): if i % K == 0: sum += maxNum2 else: sum += maxNum pri..