Nutch

오픈소스 비즈니스 컨설팅
둘러보기로 가기 검색하러 가기

확성성 있는 인터넷 크롤러와 검색 엔진의 구축을 위한 프레임워크인 Nutch를 정리 합니다.

Nutch 개요

NutchArchitecture.png

CentOS에서 Nutch 설치

Nutch 설치

cd install
wget http://apache.tt.co.kr/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz
tar xvfz apache-nutch-2.2.1-src.tar.gz
chown -R hduser:hdgroup apache-nutch-2.2.1
cd apache-nutch-2.2.1
ant                                 #--- 오랜 시간동안 기다리세요.
chown -R hduser:hdgroup *

cd runtime
tar cvf ../../nutch.tar local
cd ../..
tar xvf nutch.tar
mv local /nas/appl/nutch
  • 환경 설정
  • vi ~hduser/.bash_profile
### ----------------------------------------------------------------------------
###     NUTCH 설정
### ----------------------------------------------------------------------------
export NUTCH_HOME=/nas/appl/nutch
export PATH=$PATH:$NUTCH_HOME/bin

Nutch 설정

ElasticSearch 연동 설정

  • 참고 문헌

HBase 연동 설정

  • vi /nas/appl/nutch/conf/hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://node201.hadoop.com:9000/hbase</value>
  </property>

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost</value>
  </property>
</configuration>
  • vi /nas/appl/nutch/conf/nutch-site.xml
<configuration>
    <property>
        <name>storage.data.store.class</name>
        <value>org.apache.gora.hbase.store.HBaseStore</value>
        <description>Default class for storing data</description>
    </property>
    <property>
        <name>http.agent.name</name>
        <value>NutchCrawler</value>
    </property>
    <property>
        <name>http.robots.agents</name>
        <value>NutchCrawler,*</value>
    </property>
</configuration>
  • vi /nas/appl/nutch/conf/gora.properties
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
  • vi /nas/install/apache-nutch-2.2.1/ivy/ivy.xml
  • 아래 주석 해제
  • gora.properties 파일의 설정을 변경한 후 ant를 사용하여 nutch를 재빌드 하여야 함
<dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />

MySQL 연동 설정

  • 참고 문헌

참고 문헌