"하둡 에코시스템"의 두 판 사이의 차이

2022년 7월 5일 (화) 11:26 기준 최신판

1 개요[ | ]

Hadoop ecosystem
하둡 연동 사례
하둡 생태계

하둡 관련 솔루션 스택
하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.

HDFS: 분산파일시스템
MapReduce: 분산병렬처리 환경+프레임워크
HCatalog: 테이블, 스키마 관리 서비스
Hive: SQL기반 DW
Pig: 데이터-흐름 기반의 스크립트 언어
HBase: 컬럼 구조 저장소^[1]
Zookeeper: 클러스터 시스템 관리
Ambari: 설치 지원

2 기타[ | ]

이름	설명
플럼(Flume)	데이터 수집하여 HDFS에 저장
스쿱(Sqoop)	DBMS 데이터를 HDFS로 입출력
우지(Oozie)	하둡 Workflow 스케줄러
엘라스틱 서치	데이터 검색엔진
HBASE	NoSQL 데이터베이스
카산드라	NoSQL 데이터베이스
하이브	고수준 스크립트 언어
피그	고수준 스크립트 언어
머하웃(Mahout)	머신 러닝 라이브러리
휴	모니터링
주키퍼	분산 코디네이터, 자원제어, 분산 메타데이터 관리 등

3 같이 보기[ | ]

4 참고[ | ]

↑ HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능

[1] HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능

[1]

@@ 3번째 줄: / 3번째 줄: @@
 ;하둡 연동 사례
 ;하둡 생태계
+*하둡 관련 [[솔루션 스택]]
+*하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.
-하둡이 설치된 서버에 하둡과 연동되는 다른 소프트웨어들을 함께 설치하여 사용하는 경우가 많다.
+[[File:HDP.png]]
-<img src='http://siliconangle.com/files/2011/11/HDP.png' />
 *[[HDFS]]: 분산파일시스템
 *[[MapReduce]]: 분산병렬처리 환경+프레임워크
-*[[HCatalog]]
+*[[HCatalog]]: 테이블, 스키마 관리 서비스
 *[[Hive]]: SQL기반 DW
 *[[Pig]]: 데이터-흐름 기반의 스크립트 언어
 *[[HBase]]: 컬럼 구조 저장소<ref>HDFS는 수정/삭제가 어렵지만, HBase는 타임스탬프를 덧붙여 가능</ref>
 *[[Zookeeper]]: 클러스터 시스템 관리
+*[[Ambari]]: 설치 지원
 ==기타==
-*[[Flume]] (데이터 수집하여 HDFS에 저장)
+{| class='wikitable'
-*[[Sqoop]] (DBMS 데이터를 HDFS로 입출력)
+! 이름 !! 설명
-*[[Oozie]] (하둡 Workflow 스케줄러)
+|-
+| [[플럼]]([[Flume]])
+| 데이터 수집하여 HDFS에 저장
+|-
+| [[스쿱]]([[Sqoop]])
+| DBMS 데이터를 HDFS로 입출력
+|-
+| [[우지]]([[Oozie]])
+| 하둡 Workflow 스케줄러
+|-
+| [[엘라스틱 서치]]
+| 데이터 검색엔진
+|-
+| [[HBASE]]
+| NoSQL 데이터베이스
+|-
+| [[카산드라]]
+| NoSQL 데이터베이스
+|-
+| [[하이브]]
+| 고수준 스크립트 언어
+|-
+| [[피그]]
+| 고수준 스크립트 언어
+|-
+| [[머하웃]]([[Mahout]])
+| 머신 러닝 라이브러리
+|-
+| [[휴 (소프트웨어)|휴]]
+| 모니터링
+|-
+| [[주키퍼]]
+| 분산 코디네이터, 자원제어, 분산 메타데이터 관리 등
+|}
 ==같이 보기==
-*[[하둡]]
+* [[하둡]]
+* [[ElasticSearch]]
+* [[CEP]]
+* [[솔루션 스택]]
+* [[빅데이터 에코시스템]]
-==주석==
+==참고==
-<references/>
 [[분류: 하둡]]
+[[분류:소프트웨어 에코시스템]]