Sqoop 문서 원본 보기
←
Sqoop
둘러보기로 가기
검색하러 가기
문서 편집 권한이 없습니다. 다음 이유를 확인해주세요:
요청한 명령은 다음 권한을 가진 사용자에게 제한됩니다:
사용자
.
이 문서는 편집하거나 다른 명령을 할 수 없도록 보호되어 있습니다.
문서의 원본을 보거나 복사할 수 있습니다.
RDBMS와 [[Hadoop]]간의 데이터 전송 솔루션인 Sqoop을 정리 합니다. *홈페이지 : http://sqoop.apache.org/ :*사용자 매뉴얼 ; http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html *다운로드 : http://www.apache.org/dyn/closer.cgi/sqoop/, http://www.apache.org/dyn/closer.cgi/sqoop/1.4.3 :*https://github.com/cloudera/sqoop *라이선스 : [[Apache 2.0]] *지원 플랫폼 : [[Java]] ==Sqoop 개요== *RDBMS와 HDFS간의 데이터 교환 방법 제공 *HBase에 데이터 저장 , Hive로 데이터 전달 기능 제공 ==CentOS에서 Sqoop 설치== ===사전 준비 사항=== *Hive 0.11.0 *Pig 0.11.1 *Hadoop 1.1.2 *Java 1.7.0_19 *CentOS 6.4, 64 bits ===설치=== *Sqoop 설치 파일을 다운로드 합니다. //--- wget http://www.us.apache.org/dist/sqoop/1.4.3/sqoop-1.4.3.tar.gz wget http://www.us.apache.org/dist/sqoop/1.4.3/sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz tar zxvf ../sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz chown -R root:root sqoop-1.4.3.bin__hadoop-1.0.0 mv sqoop-1.4.3.bin__hadoop-1.0.0 /appl/sqoop *적합한 JDBC Driver를 복사 합니다. cp /cloudnas/install/mysql-connector-java-5.1.25-bin.jar /appl/sqoop/lib *vi ~/.bashrc export SQOOP_HOME=/appl/sqoop export PATH=$PATH:$SQOOP_HOME/bin export HADOOP_COMMON_HOME=/appl/hadoop export HADOOP_MAPRED_HOME=/appl/hadoop export HBASE_HOME=/appl/hbase export HIVE_HOME=/appl/hive export ZOOCFGDIR=/appl/zookeeper/conf *설치 확인 sqoop version sqoop help sqoop import ==Sqoop Architecture== ==Sqoop 매뉴얼== *Import to HDFS (RDBMS -> HDFS ) sqoop import --connect 'jdbc:mysql://localhost:3306/$database?useUnicode=true&characterEncoding=UTF-8' --driver org.gjt.mm.mysql.Driver --username $user --password $password --num-mappers 1 --table $table :*codegen ($table.java 파일 생성) sqoop codegen --connect 'jdbc:mysql://localhost:3306/$database?useUnicode=true&characterEncoding=UTF-8' --driver org.gjt.mm.mysql.Driver --username $user --password $password --table $table --class-name $table *Import to Hive (RDBMS -> Hive) :*HDFS 폴더 : /user/$linuxUser/$table :*Hive Table : $table sqoop import --connect 'jdbc:mysql://localhost:3306/$database?useUnicode=true&characterEncoding=UTF-8' --driver org.gjt.mm.mysql.Driver --username $user --password $password --num-mappers 1 --table $table --hive-table $table --hive-import [--hive-overwrite] --create-hive-table --direct --fields-terminated-by '\t' --lines-terminated-by '\n' ::*오류 : 이미 폴더가 있습니다. hadoop dfs -rmr /user/$linuxUser/$table ::*오류 : Safe Mode 입니다. hadoop dfsadmin -safemode leave ::*오류 : connetion refused : [[Hadoop]]의 Name Node 설정이 모드에 맞도록 되어 있는지 확인 합니다. :*Hive table 생성 sqoop create-hive-table --connect 'jdbc:mysql://localhost:3306/$database?useUnicode=true&characterEncoding=UTF-8' --driver org.gjt.mm.mysql.Driver --username $user --password $password --table $table --fields-terminated-by ',' *Export (Hive -> RDBMS) sqoop export --connect 'jdbc:mysql://localhost:3306/$database?useUnicode=true&characterEncoding=UTF-8' --driver org.gjt.mm.mysql.Driver --username $user --password $password --num-mappers 1 --table $table --export-dir 'hdfs://user/hive/warehouse/$table' --input-fields-terminated-by '\\0001' ==참고 문헌== *[[hiho]] *[http://mczo.blogspot.kr/2012/04/sqoop.html Sqoop 사용자 가이드, 2012.4] *[http://blog.beany.co.kr/archives/1455 Apache Sqoop 설치, 2013.01] *[http://blog.beany.co.kr/archives/1480 Apache Sqoop 에서 MS SQL Server 연결하기, 2013.01] [[Category:BigData]]
Sqoop
문서로 돌아갑니다.
둘러보기 메뉴
개인 도구
로그인
이름공간
문서
토론
변수
보기
읽기
원본 보기
역사 보기
더 보기
검색
주요 메뉴
오픈소스 컨설팅
오픈소스
오픈소스 라이선스
오픈소스 커뮤니티
오픈소스 종류
오픈소스 현황
오픈소스 한글화
문자셋과 인코딩
Storage
Network
보안
고가용성
모니터링
오픈 API
오픈 서비스
Cloud
BigData
Android
산사랑 노트
둘러보기
인기 문서
최근 수정 문서
모든 문서
모든 분류
임의 문서
위키 사용법
자매 사이트
CMS
오비컨 홈페이지
오비컨 CMS
블로그
데모 - SuiteCRM
산사랑의 Twitter
산사랑의 Facebook
친구 사이트
공개SW 포털
OLIS
한국공개소프트웨어협회
AppCenter 지원본부
OLC
PSEG
개발자 블로그
블로터
개인 메뉴
메뉴 수정
양식함
도구
여기를 가리키는 문서
가리키는 글의 최근 바뀜
특수 문서 목록
문서 정보