"Spark"의 두 판 사이의 차이

오픈소스 비즈니스 컨설팅
둘러보기로 가기 검색하러 가기
17번째 줄: 17번째 줄:
 
  mkdir  install
 
  mkdir  install
 
  cd  install
 
  cd  install
  wget --no-check-certificate https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
+
  wget http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
 
   
 
   
 
  cd ~
 
  cd ~
mkdir spark
+
  tar  -xvzf  install/spark-2.3.0-bin-hadoop2.7.tgz
cd spark
+
mv  spark-2.3.0-bin-hadoop2.7  spark
  tar  -xvzf  ../install/spark-2.3.0-bin-hadoop2.7.tgz
 
  
 
== 참고 문헌 ==
 
== 참고 문헌 ==

2018년 4월 26일 (목) 12:03 판

인-메모리 기반의 클러스터 컴퓨팅 프레임워크인 Spark를 정리 합니다.

Spark 개요

Apach Spark UC 버클리 대학의 AMPLab에서 내놓은 대용량 분산 처리 및 분석용 오픈소스이다. 2014년 2월부터 아파치 재단의 톱 프로젝트가 되었다.

  • 대화형 질의 분석기(Shark), 대용량 그래프 처리 및 분석기(Bagel), 실시간 분석기(Spark Streaming) 등을 함께 제공

Spark 설치

cd ~
mkdir  install
cd  install
wget http://apache.mirror.cdnetworks.com/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

cd ~
tar  -xvzf  install/spark-2.3.0-bin-hadoop2.7.tgz
mv  spark-2.3.0-bin-hadoop2.7  spark

참고 문헌