[Oozie] Oozie 개념, 구성요소, 아키텍처

1. 개념

하이브, 피그, 스파크 등을 이용해 빅데이터의 처리, 탐색, 분석하는 과정은 복잡한 선후행 관계를 맺는다. 특히 데이터 레이크에서 데이터 웨어하우스 그리고 데이터 마트까지의 데이터 ETL과정은 데이터 간의 의존성을 지켜가며 복잡하게 실행되는데 이러한 작업의 흐름(WorkFlow)들을 관리해주는 것이 우지이다.

---

2. 구성요소

 

-Oozie Workflow : 주요 액션에 대한 작업 규칙과 플로우를 정의

 

-Oozie Client : 워크플로를 Server에 전송하고 관리하기 위한 환경

 

-Oozie Server : 워크플로 정보가 잡으로 등록되어 잡의 실행, 중지, 모니터링 등을 관리

 

-Control 노드 : 워크플로의 흐름을 제어하기 위한 Start, End, Decision 노드 등의 기능을 제공

 

-Action 노드 : 잡의 실제 수행 태스크를 정의하는 노드로서 하이브, 피그, 맵리듀스 등의 액션으로 구성

 

-Coordinator : 워크플로 잡을 실행하기 위한 스케줄 정책을 관리

---

3. 아키텍처

 

 

 

 

 

 

출처: 실무로 배우는 빅데이터 기술 - 위키북스