아파치 스파크

  다른 뜻에 대해서는 SPARC 문서를 참조하십시오.

  다른 뜻에 대해서는 불꽃 문서를 참조하십시오.

1 개요

Apache Spark

아파치 스파크

• 오픈소스 클러스터 컴퓨팅 프레임워크
• 데이터 분석, 기계학습 알고리즘
• UC 버클리 AMPLab에서 처음 개발함
• 인메모리 프리미티브를 통해 고성능 제공

하둡의 2단계 디스크기반 맵리듀스 패러다임과는 차이가 있음

• 하둡 기반 처리 가능
• 스칼라, 파이썬 쉘 제공
• 작성언어: 스칼라
• 활용가능언어: 스칼라, 자바, SQL, 파이썬, R, C#, F#
• 아파치 라이선스 2.0

2 구성

• Spark Core
• Spark SQL
• Spark Streaming
• MLlib 머신러닝 라이브러리
• GraphX 그래프 처리 라이브러리

3 같이 보기

• 아파치 스톰
• 아파치 Zeppelin
• 하둡

4 참고

• https://ko.wikipedia.org/wiki/아파치_스파크
• https://github.com/apache/spark
• https://spark.apache.org/