Nutch

확성성 있는 인터넷 크롤러와 검색 엔진의 구축을 위한 프레임워크인 Nutch를 정리 합니다.

• 홈페이지 : http://nutch.apache.org/
• 다운로드 : http://nutch.apache.org/downloads.html
• 라이선스 : Apache 2.0
• 플랫폼 :

Nutch 개요

CentOS에서 Nutch 설치

Nutch 설치

cd install
wget http://apache.tt.co.kr/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz
tar xvfz apache-nutch-2.2.1-src.tar.gz
chown -R hduser:hdgroup apache-nutch-2.2.1
cd apache-nutch-2.2.1
ant                                 #--- 오랜 시간동안 기다리세요.
chown -R hduser:hdgroup *

cd runtime
tar cvf ../../nutch.tar local
cd ../..
tar xvf nutch.tar
mv local /nas/appl/nutch

• 환경 설정

• vi ~hduser/.bash_profile

### ----------------------------------------------------------------------------
###     NUTCH 설정
### ----------------------------------------------------------------------------
export NUTCH_HOME=/nas/appl/nutch
export PATH=$PATH:$NUTCH_HOME/bin

ElasticSearch 연동 설정

• 참고 문헌

• http://www.yongbok.net/blog/nutch-2-2-1-elasticwriter-java104-error-cannot-find-sym/

HBase 연동 설정

• vi /nas/appl/nutch/conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://node201.hadoop.com:9000/hbase</value>
  </property>

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost</value>
  </property>
</configuration>

• vi /nas/appl/nutch/conf/nutch-site.xml

<configuration>
    <property>
        <name>storage.data.store.class</name>
        <value>org.apache.gora.hbase.store.HBaseStore</value>
        <description>Default class for storing data</description>
    </property>
    <property>
        <name>http.agent.name</name>
        <value>NutchCrawler</value>
    </property>
    <property>
        <name>http.robots.agents</name>
        <value>NutchCrawler,*</value>
    </property>
</configuration>

• vi /nas/appl/nutch/conf/gora.properties

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

• vi /nas/install/apache-nutch-2.2.1/ivy/ivy.xml

• 아래 주석 해제
• gora.properties 파일의 설정을 변경한 후 ant를 사용하여 nutch를 재빌드 하여야 함

<dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />

MySQL 연동 설정

• 참고 문헌

• http://nlp.solutions.asia/?p=362

참고 문헌

• ElasticSearch

• http://www.joinc.co.kr/modules/moniwiki/wiki.php/Site/Search/Document/nutch

• Nutch로 알아보는 Crawling 구조

• Installing Apache Nutch on Centos 6, 2014.01
• INSTALL HADOOP+HBASE+NUTCH+ELASTICSEARCH, 2013.09
• Nutch-2.2.1 – ElasticWriter.java:104: error: cannot find sym

• 리눅스(CentOS) 에 nutch 1.8 설치 하기, 2014.05

• http://digitalpebble.blogspot.kr/2013/09/nutch-fight-17-vs-221.html : Nutch 1 과 2의 성능 비교
• http://wiki.apache.org/nutch/NutchTutorial : Nutch Tutorial