"하둡 에코시스템"의 두 판 사이의 차이

43번째 줄: 43번째 줄:
|-
|-
| [[피그]]
| [[피그]]
| 고수준 스크립트 언어
| [[고수준 스크립트 언어]]
|-
|-
| 마후트
| [[마후트]]
| 머신 러닝 라이브러리
| 머신 러닝 라이브러리
|-
|-

2016년 2월 4일 (목) 14:03 판

1 개요

Hadoop ecosystem
하둡 연동 사례
하둡 생태계
  • 하둡 관련 솔루션 스택
  • 하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.

 

  • HDFS: 분산파일시스템
  • MapReduce: 분산병렬처리 환경+프레임워크
  • HCatalog: 테이블, 스키마 관리 서비스
  • Hive: SQL기반 DW
  • Pig: 데이터-흐름 기반의 스크립트 언어
  • HBase: 컬럼 구조 저장소[1]
  • Zookeeper: 클러스터 시스템 관리
  • Ambari: 설치 지원

2 기타

이름 설명
플럼(Flume) 데이터 수집하여 HDFS에 저장
스쿱(Sqoop) DBMS 데이터를 HDFS로 입출력
우지(Oozie) 하둡 Workflow 스케줄러
엘라스틱 서치 데이터 검색엔진
HBASE NoSQL 데이터베이스
카산드라 NoSQL 데이터베이스
하이브 고수준 스크립트 언어
피그 고수준 스크립트 언어
마후트 머신 러닝 라이브러리
모니터링
주키퍼 분산 코디네이터, 자원제어, 분산 메타데이터 관리 등

3 같이 보기

4 주석

  1. HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능
문서 댓글 ({{ doc_comments.length }})
{{ comment.name }} {{ comment.created | snstime }}