위키
포럼
도구
바뀐글
랜덤

하둡 에코시스템

Jmnote (토론 | 기여)님의 2014년 8월 10일 (일) 17:56 판 (→‎같이 보기)

1 개요

Hadoop ecosystem
하둡 연동 사례
하둡 생태계

하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.

<img src='http://siliconangle.com/files/2011/11/HDP.png' />

  • HDFS: 분산파일시스템
  • MapReduce: 분산병렬처리 환경+프레임워크
  • HCatalog: 테이블, 스키마 관리 서비스
  • Hive: SQL기반 DW
  • Pig: 데이터-흐름 기반의 스크립트 언어
  • HBase: 컬럼 구조 저장소[1]
  • Zookeeper: 클러스터 시스템 관리
  • Ambari: 설치 지원

2 기타

  • Flume (데이터 수집하여 HDFS에 저장)
  • Sqoop (DBMS 데이터를 HDFS로 입출력)
  • Oozie (하둡 Workflow 스케줄러)

3 같이 보기

4 주석

  1. ↑ HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능
원본 주소 "https://zetawiki.com/w/index.php?title=하둡_에코시스템&oldid=76000"
문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}