Sqoop

1 개요

Apache Sqoop, Sqoop

아파치 스쿱, 스쿱

• 관계형DB와 하둡 간 데이터를 전송하는 CLI 애플리케이션
• DBMS 데이터를 HDFS로 입출력
• DBMS로부터 데이터를 import/export
• 하둡용 ETL 도구
• Hadoop 기반 시스템과 연동가능

Hive, HBase로 테이블 이전 가능

Oozie로 import/export 자동화

• JDBC 기반

2 개념도

<img src='http://hochul.net/blog/wp-content/uploads/2012/10/sqoop_import_export1.png' style='width:600px'/>

3 아키텍처 1

 

→ Map Task를 통해 import/export 처리

4 아키텍처 2

<img src='https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf' style='width:600px'/>

5 같이 보기

• 하둡 연동
• Hive
• HBase
• Oozie
• Flume

6 참고

• 영어 위키백과 "Sqoop"
• https://cwiki.apache.org/SQOOP/home.data/Apache_Sqoop.pdf