Spark

인-메모리 기반의 클러스터 컴퓨팅 프레임워크인 Spark를 정리 합니다.

• 홈페이지 : http://spark-project.org/, https://spark.apache.org/
• 다운로드 :
• 라이선스 :
• 플랫폼 : Scala

• API : Java, Scala, Python, R

Spark 개요

Apach Spark UC 버클리 대학의 AMPLab에서 내놓은 대용량 분산 처리 및 분석용 오픈소스이다. 2014년 2월부터 아파치 재단의 톱 프로젝트가 되었다.

• 대화형 질의 분석기(Shark), 대용량 그래프 처리 및 분석기(Bagel), 실시간 분석기(Spark Streaming) 등을 함께 제공

Spark 구성

Spark 설치

Spark 설치

cd  /
mkdir  install
mkdir  appl

cd  /install
wget  http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

cd  /appl
tar  -xvzf  /install/spark-2.3.0-bin-hadoop2.7.tgz
mv  spark-2.3.0-bin-hadoop2.7  spark

cd  /appl/spark
cd  conf
cp  spark-env.sh.template      spark-env.sh
cp  log4j.properties.template  log4j.properties
vi  spark-env.sh
vi  log4j.properties
    log4j.rootCategory=WARN, console

Scala 설치

cd  /install
wget  https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz
cd  /appl
tar  -xvzf  /install/scala-2.12.3.tgz
mv  scala-2.12.3.tgz  scala

폴더 구성

• R/
• bin/
• conf/
• data/
• examples/
• jars/
• kubernetes/
• licenses/
• python/
• sbin/
• yarn/

참고 문헌

• Esper
• http://www.hanb.co.kr/network/view.html?bi_id=1840
• http://ampcamp.berkeley.edu/big-data-mini-course/
• http://shark.cs.berkeley.edu/ : HiveQL 기반의 분석 기능 제공
• http://www.slideshare.net/yongho/rdd-paper-review
• http://www.slideshare.net/sanghoonlee982/spark-overview-20141106