[Zeppelin] Zeppelin 개념, 구성요소, 아키텍처

1. 개념

데이터 탐색 및 분석할 때 가장 잘 알려진 도구는 R 또는 Python이다. 하지만 하둡의 분산 파일을 직접 참조할 수 없고 분산 병렬 처리가 어려워서 이 도구들을 이용해서 대규모 데이터 분석하는데는 어려움이 있다. 이러한 문제를 해결할 수 있는 도구는 Spark이다. 하지만 데이터 노드의 Spark쉘을 이용해야 하므로 분석가나 관리자는 분석에 어려움을 겪는다. 따라서 Spark를 웹에서 사용할 수 있게 해주는 도구가 바로 제플린이다.

---

2. 구성요소

 

-Notebook : 웹 상에서 제플린의 인터프리터 언어를 작성하고 명령을 실행 및 관리할 수 있는 UI

 

-Visualization : 인터프리터의 실행결과를 곧바로 웹 상에서 다양한 시각화 도구로 분석해 볼 수 있는 기능

 

-Zeppelin Server : Notebook을 웹으로 제공하기 위한 웹 애플리케이션 서버로서 인터프리터 엔진 및 인터프리터 API 등을 지원

 

-Zeppelin Interpreter : 데이터 분석을 위한 다양한 인터프리터를 제공하며, 스파크, 하이브, JDBC, 셸 등이 있으며 필요 시 인터프리터를 추가 확장

 

 

---

3. 아키텍처

 

 

 

 

 

 

 

 

 

 

 

출처 : 실무로 배우는 빅데이터 기술 - 위키북스