지구정복

Hue에서 트리노 사용중 아래 에러가 발생. {'message': 'Query exceeded per-node memory limit of 1GB [Allocated: 1015.31MB, Delta: 11.74MB, Top Consumers: {TableScanOperator=588.89MB, OrderByOperator=379.89MB, LazyOutputBuffer=46.53MB}]', 'errorCode': 131079, 'errorName': 'EXCEEDED_LOCAL_MEMORY_LIMIT', 'errorType': 'INSUFFICIENT_RESOURCES', 'failureInfo': {'type': 'io.trino.ExceededMemoryLimitException', 'message'..

참고: https://docs.ansible.com/ansible/latest/playbook_guide/playbooks_vars_facts.html  1. 배경Ansible에서 변수는 두 가지가 있다.fact, magic variable Ansible에서는 Ansible 자체나 다른 원격 서버에 대한 정보를 사용할 수 있다.이때 원격 서버에 대한 정보와 관련된 변수는 fact라고 한다.예를 들면 A서버의 IP주소를 B서버에서 사용할 수 있다. 그리고 Ansible자체와 관련된 정보는 magic variable이라고 한다.   2. Ansible factsfacts는 ansible 원격 호스트와 관련된 정보를 의미하는데 보통 IP주소, filesystem, OS종류 등등을 의미한다. 'ansible_f..

환경centos7 서버awx docker-compose로 실행중   목표: 서버에 유저를 생성한 뒤 생성된 유저목록을 출력하고, 생성된 유저들을 지우는 workflow template을 만들기  현재 awx-gitlab 프로젝트 연동된 상태 깃랩 프로젝트 클론한 뒤 새로운 브랜치로 가서 아래 파일들을 만들어준다. * create_users.yaml---- name: Create Users Playbook hosts: localhost vars: users_list: - alice - bob - charlie tasks: - name: Create users user: name: "{{ item }}" state: present..

출처 https://hadoop.apache.org/docs/r3.3.5/index.html https://www.cnblogs.com/basenet855x/p/7889994.html 목적 기본 복제계수 값은 3이고 이럴 경우 데이터가 HDFS에 저장되면 200%의 공간과 리소스(네트워크 등)를 차지한다. 이때 잘 사용하지 않는 warm 또는 cold데이터의 경우 공간 낭비가 심하다. 따라서 이를 해결하기 위해 Eraser Coding을 HDFS 3버전부터 도입했다. EC를 사용하면 fault-tolerance는 유지하면서 HDFS공간은 더욱 효율적으로 사용할 수 있다. EC를 사용하면 디스크 오버헤드는 50%로 줄어든다. 이때 EC가 적용된 파일들의 경우 복제계수의 값은 사용하지 않는다. EC가 적용된..