개요
- Hadoop ecosystem
- 하둡 연동 사례
- 하둡 생태계
- 하둡 관련 솔루션 스택
- 하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.
- HDFS: 분산파일시스템
- MapReduce: 분산병렬처리 환경+프레임워크
- HCatalog: 테이블, 스키마 관리 서비스
- Hive: SQL기반 DW
- Pig: 데이터-흐름 기반의 스크립트 언어
- HBase: 컬럼 구조 저장소[1]
- Zookeeper: 클러스터 시스템 관리
- Ambari: 설치 지원
기타
| 이름 | 설명 |
|---|---|
| 플럼(Flume) | 데이터 수집하여 HDFS에 저장 |
| 스쿱(Sqoop) | DBMS 데이터를 HDFS로 입출력 |
| 우지(Oozie) | 하둡 Workflow 스케줄러 |
| 엘라스틱 서치 | 데이터 검색엔진 |
| HBASE | NoSQL 데이터베이스 |
| 카산드라 | NoSQL 데이터베이스 |
| 하이브 | 고수준 스크립트 언어 |
| 피그 | 고수준 스크립트 언어 |
| 머하웃(Mahout) | 머신 러닝 라이브러리 |
| 휴 | 모니터링 |
| 주키퍼 | 분산 코디네이터, 자원제어, 분산 메타데이터 관리 등 |
같이 보기
참고
- ↑ HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능