지구정복

복제계수를 줄여서 용량을 확보해보자.아래는 줄이기 전 용량이다. 아래처럼 쉘을 만들어서 특정 hdfs 경로의 복제계수를 줄여준다.$ cat down_repl.sh#!/bin/bash> setrep_error.loghdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev/null 2> setrep_error.log &hdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev/null 2> setrep_error.log &hdfs dfs -setrep 2 /user/hive/warehouse/my.db/my_table/pdate=202304* > /dev..

클러스터 설치 끝났는데 HDFS에 경고 표시 있어서 보니깐 block 1개가 missing이라고 한다. hdfs 명령어로 어떤 블록이 missing인지 찾아본다.$ su - hdfs$ hdfs fsck -list-corruptfileblocksThe list of corrupt files under path '/' are:blk_1073741825 /tmp/id700a58cd_date371823The filesystem under path '/' has 1 CORRUPT files /tmp 디렉터리에 있는 파일의 블록이고 중요한 파일이 아니어서 해당 block을 제거하고 재 복제 한다.#corrupt file을 이동시킨다.[hdfs@myclu01gn001 ~]$ hdfs fsck -moveFSCK sta..

0. 환경 구성K8S 환경에서 진행해본다.HDFS와 YARN만 HA적용된 blueprint아래와 같이 tgz파일을 풀어준다.그리고 helm chart를 설치한다.$ pwd/c/Users/123456$ mkdir myname_seminar & mv com-cluster-2.2.0_HA_blueprint.tgz ./myname_seminar[1] 3854[1]+ Done mkdir myname_seminar$ tar -xvf com-cluster-2.2.0_HA_blueprint.tgzcom-cluster/Chart.yamlcom-cluster/values.yamlcom-cluster/templates/NOTES.txtcom-cluster/templates/_helpers..

0. 배경데이터는 선형적 혹은 기하급수적으로 증가하지만실제 물리 스토리지는 비용 및 랙 공간문제, 관리문제 등등으로 인해 선형적으로 늘리기가 쉽지 않다. 이럴 경우 최대한 HDFS 공간을 효율적으로 사용하기 위한 방법들을 찾아보면서 정리하게 되었다. 1. HDFS의 이기종(멀티) 스토리지 새로 저장되고 수시로 사용되는 데이터를 Hot data데이터가 주당 몇 번정도만 사용되는 데이터를 Warm data데이터가 몇 달에 한 번씩 사용되는 데이터를 Cold data데이터가 일 년에 한 두번 사용되는 데이터를 Frozen data라고 한다. HDFS의 저장 공간은 한정적인데 많이 사용하지 않는 데이터로 인해 스토리지가 낭비되는 것을 막기 위해 HDFS는 이기종 스토리지 정책을 지원한다. 디스크 종류는 다음과..

0. distcp란?hadoop distcp란 클러스터간 데이터 이동을 도와주는 툴이다.맵리듀스를 사용하여 데이터 이동을 분산으로 처리한다.이때 목적지의 hdfs는 Active Namenode로 설정해줘야 한다. Usage $ hadoop distcp hdfs://:8020/ hdfs://:8020/ 옵션값으로는 -update : 목적지에 존재하지 않거나 사이즈, blocksize, checksum이 다를 경우 데이터를 이동시킨다.-overwrite: 목적지에 같은 파일이 있어도 덮어씌운다.-append : 출발지 파일이 목적지 파일과 checksum은 맞는데 파일 길이가 다를경우 출발지에 추가된 내용만 목적지 파일에 추가된다. 이때 -update옵션과 같이 써야되고 -skipcrccheck 옵션을 같..