목록데이터 엔지니어링 정복 (374)
지구정복
내 환경 mysql 5.7.28 먼저 mysql 에 접속한 뒤 아래 명령어로 인코딩타입을 확인한다. show variables like 'c%'; 아래와 같이 latin이 있는 것을 확인할 수 있다. 다시 msyql접속을 끊고 설정파일을 아래와 같이 수정한다. 오타가 나지 않도록 조심한다!! su - root 비번 vi /etc/my.cnf [client-server] !includedir /etc/my.cnf.d [client] default-character-set = utf8 [mysqld] port=3307 datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock symbolic-links=0 log-error=/var/log/mysqld.log pid-..
내 환경 하둡 3.3.0 하이브 3.1.2 먼저 자신의 하이브 디렉터리 lib에서 hive-contrib-3.1.2.jar를 찾는다. 버전은 다를 수 있다. cd hive/lib/ ll hive-contrip* 그리고 hive를 실행해서 아래 명령어로 위 라이브러리를 하이브에 추가시키고 함수를 만들어준다. #라이브러리 추가 hive>add jar /home/hadoop01/hive/lib/hive-contrib-3.1.2.jar; #auto increment 함수 생성 hive>create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence'; 그리고 auto increment를 진행할 테이블을 만든다...
플럼을 이용해서 데이터를 hdfs에 적재하다가 아래와 같은 에러를 만났다 ㅎㅎ 에러는 항상 정말 반갑다 ㅎㅎㅎㅎㅎㅎ하하 Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) at or..
-파이썬 N, M, K = input().split(" ") N = int(N) M = int(M) K = int(K) nums = input().split(" ") for i in range( 0, N ): nums[i] = int( nums[i] ) sum = 0 maxNum = max( nums ) nums.remove( maxNum ) maxNum2 = max( nums ) # 리스트안에 최대값이 중복일 때 for i in range( 0, N-1 ): if maxNum == nums[i]: sum = maxNum * M break; if sum == 0: for i in range( 1, M+1 ): if i % K == 0: sum += maxNum2 else: sum += maxNum pri..