Spark

오픈소스 비즈니스 컨설팅
Pnuskgh (토론 | 기여)님의 2018년 4월 26일 (목) 15:09 판 (→‎K-ICT 교육)
둘러보기로 가기 검색하러 가기

인-메모리 기반의 클러스터 컴퓨팅 프레임워크인 Spark를 정리 합니다.

  • API : Java, Scala, Python, R

Spark 개요

Apach Spark UC 버클리 대학의 AMPLab에서 내놓은 대용량 분산 처리 및 분석용 오픈소스이다. 2014년 2월부터 아파치 재단의 톱 프로젝트가 되었다.

  • 대화형 질의 분석기(Shark), 대용량 그래프 처리 및 분석기(Bagel), 실시간 분석기(Spark Streaming) 등을 함께 제공

Spark 구성

Spark 설치

Spark 설치

cd  /
mkdir  install
mkdir  appl

cd  /install
wget  http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

cd  /appl
tar  -xvzf  /install/spark-2.3.0-bin-hadoop2.7.tgz
mv  spark-2.3.0-bin-hadoop2.7  spark

cd  /appl/spark
cd  conf
cp  spark-env.sh.template      spark-env.sh
cp  log4j.properties.template  log4j.properties
vi  spark-env.sh
vi  log4j.properties
    log4j.rootCategory=WARN, console

# cd /appl/spark
# sbin/start-master.sh
# sbin/start-slave.sh  spark://localhost:7077
# bin/pyspark  -master  spark://localhost:7077

Scala 설치

cd  /install
wget  https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz
cd  /appl
tar  -xvzf  /install/scala-2.12.3.tgz
mv  scala-2.12.3.tgz  scala
# export PATH=${PATH}:/appl/scala/bin

폴더 구성

  • R/
  • bin/
  • conf/
  • data/
  • examples/
  • jars/
  • kubernetes/
  • licenses/
  • python/
  • sbin/
  • yarn/

K-ICT 교육

cd  ~
mkdir  install

cd  ~/install
wget  http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

cd  ~  
tar  -xvzf  /install/spark-2.3.0-bin-hadoop2.7.tgz
mv  spark-2.3.0-bin-hadoop2.7  spark

cd  ~/spark
cd  conf
cp  spark-env.sh.template      spark-env.sh
cp  log4j.properties.template  log4j.properties
vi  spark-env.sh
    export LANG=ko_KR.UTF-8

    export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64
    export PATH=$PATH:$JAVA_HOME

    export HADOOP_INSTALL=/usr/local/hadoop
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL
    export YARN_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
    export PATH=$PATH:$HADOOP_INSTALL/sbin
    export PATH=$PATH:$HADOOP_INSTALL/bin

    export SPARK_DIST_CLASSPATH=$(hadoop classpath)

vi  log4j.properties
    log4j.rootCategory=WARN, console
	
cd ~/spark
sbin/start-all.sh
bin/pyspark

pyspark 명령어

df = sqlContext.read.json("file:///home/eduuser/spark/examples/src/main/resources/people.json")
df.show()

참고 문헌