Sqoop


개요

Apache Sqoop, Sqoop
아파치 스쿱, 스쿱
  • 관계형DB와 하둡 간 데이터를 전송하는 CLI 애플리케이션
  • DBMS 데이터를 HDFS로 입출력
  • DBMS로부터 데이터를 import/export
  • 하둡용 ETL 도구
  • Hadoop 기반 시스템과 연동가능
Hive, HBase로 테이블 이전 가능
Oozie로 import/export 자동화

Apache Sqoop logo.svg

개념도

<img src='http://hochul.net/blog/wp-content/uploads/2012/10/sqoop_import_export1.png' style='width:600px'/>

아키텍처 1

sqoop1arch.jpg

→ Map Task를 통해 import/export 처리

아키텍처 2

<img src='https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf' style='width:600px'/>

같이 보기

참고