| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- airflow
- bigdata engineer
- Spark
- 알고리즘
- Iceberg
- java
- 코딩
- 백준
- Data Engineer
- Apache Kafka
- 프로그래머스
- HDFS
- 코엑스맛집
- Linux
- 코테
- Data Engineering
- 영어
- 맛집
- 삼성역맛집
- pyspark
- 여행
- apache iceberg
- HIVE
- 자바
- Kafka
- hadoop
- bigdata engineering
- BigData
- 코딩테스트
- Trino
- Today
- Total
목록전체 글 (579)
지구정복
편지를 보낸다고 생각해보자.HTTP (평문): 엽서를 보내는 거다. 우체부든, 중간에 거쳐가는 누구든 그냥 읽을 수 있다. 비밀번호를 엽서에 써서 보내는 거나 마찬가지.TLS (HTTPS): 편지를 봉투에 넣고 자물쇠로 잠가서 보내는 거다. 중간에 누가 가로채도 봉투를 못 열어서 내용을 못 본다 — 이게 암호화.TLS는 "암호화" 말고 하나를 더 한다 — "이 자물쇠, 진짜 그 사람이 만든 거 맞아?" 확인. TLS 인증서엔 "이게 진짜 서버다"라는 서명이 붙어 있다. 그 서명을 누가 했냐가 전부다:CA가 서명 : 브라우저가 "아, 이 CA는 내가 아는 믿을 만한 기관이네" 하고 자동으로 신뢰해준다. → 가짜 서버가 이 서명을 위조할 수 없으니, 신원이 보증된다.self-signed ("내가 나 자신을 ..
참고:https://docs.ansible.com/ansible/latest/playbook_guide/playbooks_vars_facts.html 1. 배경Ansible에서 변수는 두 가지가 있다.fact, magic variable Ansible에서는 Ansible 자체나 다른 원격 서버에 대한 정보를 사용할 수 있다.이때 원격 서버에 대한 정보와 관련된 변수는 fact라고 한다.예를 들면 A서버의 IP주소를 B서버에서 사용할 수 있다.그리고 사용자가 임의로 만들 수 있다. → 우리가 흔히 사용되는 변수라고 생각하면 된다. 그리고 Ansible자체와 관련된 정보는 magic variable이라고 한다. → 약간 환경변수라고 이해하면 된다. 2. Ansible factsfacts는 ansible..
암바리 메타디비가 위치한 노드로 접속 아래 쉘 실행해서 백업 [root@mycluster-master001 ambari]# cat backup_ambari_configs.sh#!/bin/bash # MariaDB 접속 정보DB_NAME="ambari"USER="root"PASSWORD="12341234!" # 쿼리 실행과 결과를 텍스트 파일에 저장mysql -u "$USER" -p"$PASSWORD" "$DB_NAME" -e "SELECT cc.*FROM clusterconfig ccJOIN ( SELECT type_name, MAX(version) AS max_version FROM clusterconfig GROUP BY type_name) AS groupedON cc.type_na..
Grafana에서 아래와 같이 몇몇 메트릭정보만 보이고hiveserver2나 resource manager, namenode 등의 메트릭정보가 수집이 안되고 있다. 다른 클러스터들을 보면 정상적으로 다 보인다. 먼저 쉘에서 curl명령어로 실제로 메트릭이 수집이 안되고 있는지 확인해본다. [root@mycluster-control01 ~]# curl http://kmaph01cn001:6188/ws/v1/timeline/metrics/metadata | grep namenode 결과 없음 [root@mycluster-control01 ~]# curl http://kmaph01cn001:6188/ws/v1/timeline/metrics/metadata | grep hive 결과 없음원래 정상적으로 수집이 ..
grafana가 사용하는 DB에서 직접 바꿔줘야 한다. grafana.db 파일을 찾고, 해당 경로로 이동한다.[root@mycluster-master01 conf]# find / -name grafana.db/var/lib/ambari-metrics-grafana/grafana.db [root@mycluster-master01 conf]# cd /var/lib/ambari-metrics-grafana/ sqlite3를 이용해서 해당 db로 접속한다.[root@mycluster-master01 ambari-metrics-grafana]# sqlite3 grafana.dbSQLite version 3.7.17 2013-05-20 00:56:22Enter ".help" for instructionsEnte..