하둡 에코시스템

1 개요

Hadoop ecosystem

하둡 연동 사례

하둡 생태계

• 하둡 관련 솔루션 스택
• 하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.

 

• HDFS: 분산파일시스템
• MapReduce: 분산병렬처리 환경+프레임워크
• HCatalog: 테이블, 스키마 관리 서비스
• Hive: SQL기반 DW
• Pig: 데이터-흐름 기반의 스크립트 언어
• HBase: 컬럼 구조 저장소
• Zookeeper: 클러스터 시스템 관리
• Ambari: 설치 지원

2 기타

이름	설명
플럼(Flume)	데이터 수집하여 HDFS에 저장
스쿱(Sqoop)	DBMS 데이터를 HDFS로 입출력
우지(Oozie)	하둡 Workflow 스케줄러
엘라스틱 서치	데이터 검색엔진
HBASE	NoSQL 데이터베이스
카산드라	NoSQL 데이터베이스
하이브	고수준 스크립트 언어
피그	고수준 스크립트 언어
마후트	머신 러닝 라이브러리
휴	모니터링
주키퍼	분산 코디네이터, 자원제어, 분산 메타데이터 관리 등

3 같이 보기

• 하둡
• ElasticSearch
• CEP
• 솔루션 스택