하둡 에코시스템

1 개요

Hadoop ecosystem

하둡 연동 사례

하둡 생태계

하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.

<img src='http://siliconangle.com/files/2011/11/HDP.png' />

• HDFS: 분산파일시스템
• MapReduce: 분산병렬처리 환경+프레임워크
• HCatalog
• Hive: SQL기반 DW
• Pig: 데이터-흐름 기반의 스크립트 언어
• HBase: 컬럼 구조 저장소
• Zookeeper: 클러스터 시스템 관리
• Ambari: 설치 지원

2 기타

• Flume (데이터 수집하여 HDFS에 저장)
• Sqoop (DBMS 데이터를 HDFS로 입출력)
• Oozie (하둡 Workflow 스케줄러)

3 같이 보기

• 하둡
• ElasticSearch
• CEP