Spark

인-메모리 기반의 클러스터 컴퓨팅 프레임워크인 Spark를 정리 합니다.

• 홈페이지 : http://spark-project.org/, https://spark.apache.org/
• 다운로드 :
• 라이선스 :
• 플랫폼 : Scala

Spark 개요

Apach Spark UC 버클리 대학의 AMPLab에서 내놓은 대용량 분산 처리 및 분석용 오픈소스이다. 2014년 2월부터 아파치 재단의 톱 프로젝트가 되었다.

• 대화형 질의 분석기(Shark), 대용량 그래프 처리 및 분석기(Bagel), 실시간 분석기(Spark Streaming) 등을 함께 제공

Spark 구성

Spark 설치

cd ~
mkdir  install
cd  install
wget http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

cd ~
tar  -xvzf  install/spark-2.3.0-bin-hadoop2.7.tgz
mv  spark-2.3.0-bin-hadoop2.7  spark

참고 문헌

• Esper
• http://www.hanb.co.kr/network/view.html?bi_id=1840
• http://ampcamp.berkeley.edu/big-data-mini-course/
• http://shark.cs.berkeley.edu/ : HiveQL 기반의 분석 기능 제공
• http://www.slideshare.net/yongho/rdd-paper-review
• http://www.slideshare.net/sanghoonlee982/spark-overview-20141106