지구정복

#모든 인덱스들 조회curl "http:// solr_hostname>:8886/solr/admin/collections?action=LIST&wt=json"{ "responseHeader":{ "status":0, "QTime":0}, "collections":["ranger_audits"]} #특정 인덱스의 field 정보 출력curl "http:// solr_hostname>:8886/solr/ranger_audits/schema/fields?wt=json&showDefaults=true" #전체 데이터 개수 확인curl "http:// solr_hostname>:8886/solr/ranger_audits/select?q=*:*&rows=0" #데이터 1개만 출력curl "htt..

1. 현상 및 원인Infra Solr는 주로 Ranger/HDFS/Yarn의 audit로그를 저장하기 위해 사용된다.우리는 Ranger의 audit로그를 위해서 사용중이다. 하지만 ranger audit로그가 많이 쌓이다보니 infra solr의 data dir가 너무 용량을 많이 차지하는 이슈가 있었다.설정이름: infra_solr_datadir 방법은 두 가지가 있다. 1) infra_solr_datadir해당 경로를 디스크 공간이 많은 곳으로 옮겨준다.2) Ranger에서 ranger_audit_max_retention_days 기간을 줄여준 뒤 Lucene API로 직접 데이터 삭제한다. 2. 해결2.1. infra_solr_datadir 경로 변경아래 순서로 진행 -Infra Solr 중지-i..

1. 설치https://wikidocs.net/book/8531위 참고 책을 참고하면 가상환경에 FastAPI사용하는데 가상환경을 사용하면 스파크 사용시 가상환경 파이썬을 배포해줘야하니 일단 편의상 가상환경을 사용하지 않고 바로 서버에 설치하고 사용해본다. 먼저 Fastapi와 uvicorn 파이썬 패키지를 웹서버 띄울 서버에 설치해준다.여기선 gn001서버에 설치한다. FastAPI는 비동기 처리를 지원하여 높은 성능을 제공하고, 타입 검사 및 자동화된 API 문서 생성을 통해 개발자가 빠르게 효율적인 RESTful API를 구축할 수 있도록 돕습니다. Uvicorn은 경량의 웹 서버로, FastAPI와 같은 비동기 웹 프레임워크에서 높은 성능의 API를 실행하고 배포할 수 있도록 해줍니다. 추후에 s..

Ambari AlertsAmbari Alert 기능은 Ambari에서 룰기반으로 사전 정의된 알림(Notification) 기능으로,주요 컴포넌트들에 대한 서비스 상태를 체크하고(health check) 특정 임계치를 넘었을때 알림을 주어 하둡 클러스터를 운영하는데 도움을 줍니다.Ambari alert 을 Email 로 받도록 설정하면 Ambari Web 을 접속하지 않고도 메일 알림으로 하둡 클러스터 상태를 모니터링 할 수 있습니다. 암바리에 관리자 계정 접속후 왼쪽 메뉴의 Alerts 클릭 우측 ACTIONS에서 여러가지 설정 가능 Alerts ACTIONSManage Alert GroupsAlert 할 대상 컴포넌트 및 서비스를 그룹화 할 수 있습니다.Ambari 에는 이미 컴포넌트별 그룹..