Nutch
둘러보기로 가기
검색하러 가기
확성성 있는 인터넷 크롤러와 검색 엔진의 구축을 위한 프레임워크인 Nutch를 정리 합니다.
- 홈페이지 : http://nutch.apache.org/
- 다운로드 : http://nutch.apache.org/downloads.html
- 라이선스 : Apache 2.0
- 플랫폼 :
목차
Nutch 개요
CentOS에서 Nutch 설치
Nutch 설치
cd install wget http://apache.tt.co.kr/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz tar xvfz apache-nutch-2.2.1-src.tar.gz chown -R hduser:hdgroup apache-nutch-2.2.1 cd apache-nutch-2.2.1 ant #--- 오랜 시간동안 기다리세요. chown -R hduser:hdgroup * cd runtime tar cvf ../../nutch.tar local cd ../.. tar xvf nutch.tar mv local /nas/appl/nutch
- 환경 설정
- vi ~hduser/.bash_profile
### ---------------------------------------------------------------------------- ### NUTCH 설정 ### ---------------------------------------------------------------------------- export NUTCH_HOME=/nas/appl/nutch export PATH=$PATH:$NUTCH_HOME/bin
Nutch 설정
ElasticSearch 연동 설정
- 참고 문헌
HBase 연동 설정
- vi /nas/appl/nutch/conf/hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://node201.hadoop.com:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> </configuration>
- vi /nas/appl/nutch/conf/nutch-site.xml
<configuration> <property> <name>storage.data.store.class</name> <value>org.apache.gora.hbase.store.HBaseStore</value> <description>Default class for storing data</description> </property> <property> <name>http.agent.name</name> <value>NutchCrawler</value> </property> <property> <name>http.robots.agents</name> <value>NutchCrawler,*</value> </property> </configuration>
- vi /nas/appl/nutch/conf/gora.properties
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
- vi /nas/install/apache-nutch-2.2.1/ivy/ivy.xml
- 아래 주석 해제
- gora.properties 파일의 설정을 변경한 후 ant를 사용하여 nutch를 재빌드 하여야 함
<dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />
MySQL 연동 설정
- 참고 문헌
참고 문헌
- Installing Apache Nutch on Centos 6, 2014.01
- INSTALL HADOOP+HBASE+NUTCH+ELASTICSEARCH, 2013.09
- Nutch-2.2.1 – ElasticWriter.java:104: error: cannot find sym
- http://digitalpebble.blogspot.kr/2013/09/nutch-fight-17-vs-221.html : Nutch 1 과 2의 성능 비교
- http://wiki.apache.org/nutch/NutchTutorial : Nutch Tutorial