지구정복

서론: 설정 파일 속 비밀번호, 어떻게 하고 계신가요설정 파일에 DB 비밀번호가 평문으로 적혀 있습니다.그 파일을 Git에 올려도 되는지 불안합니다.팀원에게 공유할 때마다 메신저로 보내고 있습니다.데이터 파이프라인을 만들다 보면 한 번쯤 겪는 고민입니다. 이 글에서는 비밀 값을 안전하게 다루는 방법을 정리합니다. SOPS + age, 시크릿 전용 저장소, Hadoop Credential Provider를 차례로 살펴봅니다. 먼저 알아야 할 기본 용어암호화와 복호화암호화: 읽을 수 없는 문자로 바꾸는 일입니다.복호화: 암호문을 원래 값으로 되돌리는 일입니다.비유하면 편지를 자물쇠 상자에 넣고 잠그는 것이 암호화, 열쇠로 여는 것이 복호화입니다.공개 키와 개인 키공개 키: 누구에게나 알려도 되는 키입니다. ..

서론: 데이터 옮기는데 왜 자꾸 느릴까요운영 DB의 데이터를 분석용 저장소로 옮겨야 합니다.매번 전체를 복사하니 너무 오래 걸립니다.바뀐 것만 가져오고 싶은데 방법을 모르겠습니다.이럴 때 쓰는 기술이 CDC입니다. 이 글에서는 CDC의 원리와 MySQL에서 꼭 해야 할 설정 하나를 쉽게 정리합니다. CDC란 무엇인가CDC(Change Data Capture) 는 DB에서 바뀐 데이터만 골라서 가져오는 기술입니다.비유하면 교실 출석부의 수정 기록을 보는 것과 같습니다.매일 출석부 전체를 복사하는 대신, 오늘 고친 줄만 확인합니다.입력(INSERT), 수정(UPDATE), 삭제(DELETE)를 모두 잡아냅니다.CDC의 재료는 로그입니다DB는 모든 변경을 순서대로 로그에 기록합니다. 원래는 복구와 복제를 위한..

복제계수를 줄여서 용량을 확보해보자.아래는 줄이기 전 용량이다. 아래처럼 쉘을 만들어서 특정 hdfs 경로의 복제계수를 줄여준다.$ cat down_repl.sh#!/bin/bash> setrep_error.loghdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev/null 2> setrep_error.log &hdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev/null 2> setrep_error.log &hdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev..

클러스터 설치 끝났는데 HDFS에 경고 표시 있어서 보니깐 block 1개가 missing이라고 한다. hdfs 명령어로 어떤 블록이 missing인지 찾아본다.$ su - hdfs$ hdfs fsck -list-corruptfileblocksThe list of corrupt files under path '/' are:blk_1073741825 /tmp/id700a58cd_date371823The filesystem under path '/' has 1 CORRUPT files /tmp 디렉터리에 있는 파일의 블록이고 중요한 파일이 아니어서 해당 block을 제거하고 재 복제 한다.#corrupt file을 이동시킨다.[hdfs@myclu01gn001 ~]$ hdfs fsck -moveFSCK sta..

0. 환경 구성K8S 환경에서 진행해본다.HDFS와 YARN만 HA적용된 blueprint아래와 같이 tgz파일을 풀어준다.그리고 helm chart를 설치한다.$ pwd/c/Users/123456$ mkdir myname_seminar & mv com-cluster-2.2.0_HA_blueprint.tgz ./myname_seminar[1] 3854[1]+ Done mkdir myname_seminar$ tar -xvf com-cluster-2.2.0_HA_blueprint.tgzcom-cluster/Chart.yamlcom-cluster/values.yamlcom-cluster/templates/NOTES.txtcom-cluster/templates/_helpers..