ElasticSearch
Lucene을 바탕으로 개발한 분산 검색엔진인 ElasticSearch를 정리 합니다.
- 라이선스 : Apache 2.0
- 플랫폼 : Java
목차
ElasticSearch 개요
Lucene은 널리 알려진 Java 기반의 오픈소스 검색 엔진 라이브러리 입니다. 많은 곳에서 사용 되고 있지만 라이브러리 형태라 사용에 불편함이 있고 BigData 시대를 맞아 분산 환경을 지원하지 않아 새로운 대안 솔루션이 필요하게 되었습니다. 오픈소스 진영에서는 분산 환경을 지원하는 Solr와 ElasticSearch가 Lucene 기반으로 작성이 되었습니다. ElasticSearch는 RESTful API를 지원하는 특성으로 인하여 여러 환경으로 포팅이 될 수 있어서 사용이 편리한 분산 검색 엔진 입니다.
ElasticSearch의 특징
- 실시간 검색 및 분석
- 분산 구성 및 병렬 처리
- index (Database)와 Type (Table)을 사용하여 다양한 문서 처리
- JSON을 사용하는 RESTful API 지원
- Plugin 방식의 기능 확장
ElasticSearch 용어
용어 | 상세 |
Cluster |
|
Node |
|
Index |
|
Shard |
|
Type (Document Type) |
|
Mapping |
|
Route |
|
Document |
|
Field |
|
Gateway |
|
Query |
|
TermQuery |
|
Term |
|
Token |
|
ElasticSearch의 개념적 구성도
- ElasticSearch Architecture
- _index : index 이름
- _type : type 이름
- _id : Document ID
- _score
- _source : Document 저장
- properties
- 필드명 (field)
- type : string
ElasticSearch 관련 오픈소스
CentOS에서 ElasticSearch 설치
ElasticSearch 설치
- ElasticSearch 설치
- JDK 1.7 이상 필요
cd install wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.2.tar.gz tar -xvzf elasticsearch-1.3.2.tar.gz chown -R hduser:hdgroup elasticsearch-1.3.2 mv elasticsearch-1.3.2 /nas/appl/elasticsearch
- 환경 설정
- vi ~hduser/.bash_profile
### ---------------------------------------------------------------------------- ### ELASTICSEARCH 설정 ### ---------------------------------------------------------------------------- export ELASTICSEARCH_HOME=/nas/appl/elasticsearch export PATH=$PATH:$ELASTICSEARCH_HOME/bin
- ElasticSearch 환경 설정
- 데이터와 로그 폴더 생성
cd /nas/appl/elasticsearch mkdir data mkdir logs chown hduser:hdgroup data logs
- vi /nas/appl/elasticsearch/config/elasticsearch.yml
cluster.name: elasticsearch node.name: "node201" path.data: /nas/appl/elasticsearch/data path.logs: /nas/appl/elasticsearch/logs discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["node201:9200"] bootstrap.mlockall: true
- 서비스 실행 및 확인
su - hduser elasticsearch #--- Foreground로 실행 elasticsearch -d #--- Daemon으로 실행 curl localhost:9200 #--- 서비스 확인 http://node201.hadoop.com:9200/ #--- 서비스 확인 http://node201.hadoop.com:9200/_status http://node201.hadoop.com:9200/_plugin/head/ #--- elasticsearch-head plugin이 설치된 경우
ElasticSearch 로드밸런서 설치
- ElasticSearch 로드밸런서 환경 설정
- vi /nas/appl/elasticsearch/config/elasticsearch.yml
node.master: false node.data: false network.bind_host: 192.168.0.1
- 로드밸런서용 plugin 설치
plugin -install mobz/elasticsearch-head plugin -install lukas-vlcek/bigdesk
환경 설정
- 환경 변수
- bin/elasticsearch 환경변수
- JAVA_OPTS
- ES_JAVA_OPTS, ES_HEAP_SIZE
- ES_MIN_MEM=256m, ES_MAX_MEM=1gb
- 환경 설정 방법
- 환경 설정 파일로 설정
vi /nas/appl/elasticsearch/config/elasticsearch.yml index: store: type: memory
- 명령행 옵션으로 설정
elasticsearch -Des.index.store.type=memory
- REST API로 설정
curl -XPUT 'node201.hadoop.com:9200/customer/ -d ' index: store: type: memory '
- file descriptors 확인
- max_file_descriptors
curl 'node201.hadoop.com:9200/_nodes/process?pretty'
- memory settings : disable swap
- 한번만 적용
swapoff -a
- 항상 적용
vi /etc/fstab #--- swap을 주석 처리
- ElasticSearch 설정으로 처리
ulimit -l unlimited #--- root 사용자로 실행 mkdir /tmp/tmpJna vi config/elasticsearch.yml bootstrap.mlockall: true elasticsearch -Djna.tmpdir=/tmp/tmpJna
Service로 실행
- 환경 설정 변수
- ES_USER, ES_GROUP
- ES_HEAP_SIZE, ES_HEAP_NEWSIZE, ES_DIRECT_SIZE
- MAX_OPEN_FILES
- MAX_LOCKED_MEMORY, MAX_MAP_COUNT
- LOG_DIR, DATA_DIR, WORK_DIR
- CONF_DIR, CONF_FILE
- ES_JAVA_OPTS, RESTART_ON_UPGRADE
#--- /etc/init.d/elasticsearch #--- /etc/sysconfig/elasticsearch /sbin/chkconfig --add elasticsearch
Windows에서 ElasticSearch 설치
ElasticSearch 설치
ElasticSearch는 JDK 7 이상에서 실행되는 Java 기반의 애플리케이션으로 별도의 설치 과정 없이 소스를 다운로드 받아 실행하면 됩니다. 다운로드 사이트(http://www.elasticsearch.org/download/)에서 최신 버전(elasticsearch-1.3.2.zip)의 ElasticeSearch를 다운로드 합니다. 압축을 풀어 c:/appl/elasticsearch/ 폴더를 생성 합니다.
실행 및 확인
bin/ 폴더에서 elasticsearch.bat 파일을 실행 합니다.
브라우저에서 http://localhost:9200/ 로 접속하여 확인 합니다.
Cluster 정보 확인
Node 정보 확인
Plugin
Plugin 구조
ElasticSearch 폴더 구조
폴더 | 상세 |
bin |
|
config |
|
data |
|
lib |
|
logs |
|
plugins |
|
Plugin 설치 프로그램
설치 프로그램 : org.elasticsearch.plugins.PluginManager
옵션 |
상세 | |
-u | -url ~ | Plugin 설치 파일 (~.zip) 다운로드 URL |
-i | -install ~ | 설치할 Plugin 이름 plugins/Plugin_이름/ 폴더에 설치됨 |
-t | -timeout ~ | 타임아웃 설정 (30s, 1m, 1h, ...) |
-r | -remove ~ | 삭제할 Plugin 이름 |
-l | -list | 설치된 Plugin 목록 표시 |
-v | -verbose | 상세 정보 표시 |
-s | -silent | Silent 모드로 실행 |
-h | -help | 도움말 표시 |
Plugin 설치 파일 폴더 구조
~.zip 파일
폴더 |
상세 | |
플러그인명-버전/ |
| |
_site/ |
| |
bin/ |
| |
config/ |
| |
_dict/ |
Java Plugin
jar 파일에 들어 있는 es-plugin.properties 파일
- plugin=org.elasticsearch.plugin.analysis.kr.AnalysisKoreanPlugin : 플러그인 설치 파일
- org.elasticsearch.plugins.AbstractPlugin 파일을 구현한 class
- version=~ : Plugin 버전
- description=~ : Plugin 설명
- lucene=~ : Lucene 버전
플러그인 설치 파일의 구성 함수
종류 | 관련 class | 상세 |
name() | Plugin 이름 | |
description() | Plugin 설명 | |
modules() | Module | Node level modules |
indexModules() | Module | Per index modules |
shardModules() | Module | Per index shard module |
services() | LifecycleComponent | Node level services |
indexServices() | CloseableIndexComponent | Per index services |
shardServices() | CloseableIndexComponent |
Per index shard services |
processModule() | Module | |
additionalSettings() | Plugin이 로딩될 때 추가되는 node 설정 | |
onModule(AnyModule module) |
모듈이 로딩될 때, 실행되는 함수 |
참고 문헌
한글 형태소 분석기 Plugin
Korean Analysis for ElasticSearch (http://github.com/chanil1218/elasticsearch-analysis-korean) 사이트에서 한글 형태소 분석기 Plugin을 설치 합니다. ElasticSearch용 한글 형태소 분석기 Plugin은 "루씬 한글분석기 오픈소스 프로젝트"를 가져와 작성이 되었습니다.
루씬 한글분석기 오픈소스 프로젝트
- 카페 : http://cafe.naver.com/korlucene
- SourceForge : http://sourceforge.net/projects/lucenekorean
- SVN : https://lucenekorean.svn.sourceforge.net/svnroot/lucenekorean
- CVS : d:pserver:anonymous@lucenekorean.cvs.sourceforge.net:/cvsroot/lucenekorean
한글 형태소 분석기 Plugin 설치
bin/plugin -install chanil1218/elasticsearch-analysis-korean/1.3.0 만일 위 명령어로 설치시 오류가 발생하면 아래와 명령어로 설치를 다시 진행 합니다. |
설치가 정상적으로 완료되면 plugins/analysis-korean/elasticsearch-analysis-korean-1.3.0.jar 파일을 확인할 수 있습니다.
- 설치 후 확인
- 동작 확인
- korea 인덱스 삭제
curl -XDELETE 'node201.hadoop.com:9200/korea?pretty'
- korea 인덱스 생성
#curl -XDELETE 'node201.hadoop.com:9200/korea?pretty' curl -XPUT 'node201.hadoop.com:9200/korea?pretty' -d '{ "settings": { "index": { "analysis": { "analyzer": { "kr_analyzer": { "type": "org.elasticsearch.index.analysis.KoreanAnalyzerProvider", "tokenizer": "KoreanTokenizer", "filter": [ "trim", "lowercase", "KoreanFilter" ] } } } } } }'
- KoreanAnalyzer 동작 확인
### curl -XGET 'node201.hadoop.com:9200/korea/_analyze?pretty&analyzer=kr_analyzer&text=이전 글에서 ElasticSearch와 Arirang 형태소 분석기를 살펴 보았습니다.' curl -XGET 'node201.hadoop.com:9200/korea/_analyze?pretty&analyzer=kr_analyzer&text=%EC%9D%B4%EC%A0%84%20%EA%B8%80%EC%97%90%EC%84%9C%20ElasticSearch%EC%99%80%20Arirang%20%ED%98%95%ED%83%9C%EC%86%8C%20%EB%B6%84%EC%84%9D%EA%B8%B0%EB%A5%BC%20%EC%82%B4%ED%8E%B4%20%EB%B3%B4%EC%95%98%EC%8A%B5%EB%8B%88%EB%8B%A4.' http://node201.hadoop.com:9200/korea/_analyze?pretty&analyzer=kr_analyzer&text=이전%20글에서%20ElasticSearch와%20Arirang%20형태소%20분석기를%20살펴%20보았습니다.
- elasticsearch-analysis-korean-1.3.0.jar 파일 구조
- es-plugin.properties
plugin=org.elasticsearch.plugin.analysis.kr.AnalysisKoreanPlugin
- packages
org.apache.lucene.analysis.kr dic/ KoreanAnalyzer.java KoreanFilter.java KoreanTokenizer.java org.apache.solr.analysis.kr KoreanFilterFactory.java KoreanTokenizerFactory org.elasticsearch.index.analysis KoreanAnalysisBinderProcessor.java KoreanAnalyzerProvider.java KoreanFilterFactory.java KoreanTokenizerFactory.java org.elasticsearch.plugin.analysis.kr AnalysisKoreanPlugin.java
- 프로그램 호출 구조
- AnalysisKoreanPlugin.java : AnalysisModule로 KoreanAnalysisBinderProcessor 등록
- KoreanAnalysisBinderProcessor.java : Analyzer, Tokenizer, Filter 등록
- KoreanAnalyzerProvider.java (kr_analyzer) -> KoreanAnalyzer
- KoreanTokenizerFactory.java (kr_tokenizer) -> KoreanTokenizer
- KoreanFilterFactory.java (kr_filter) -> KoreanFilter
ElasticSarch 폴더 구조
폴더 | 설정 변수 | 상세 |
bin |
윈도우용 실행 파일
Linux용 실행 파일
| |
config | path.conf |
설정 파일 폴더
|
data | path.data |
데이터와 인덱스를 저장하는 폴더
|
lib |
ElasticSearch용 라이브러리 | |
logs | path.logs |
로그 폴더 |
plugins | path.plugins |
ElasticSearch 플러그인 폴더 |
work | path.work |
임시 작업용 폴더 |
- path.home : ElasticSearch가 설치된 폴더를 지정하는 설정 변수
ElasticSearch 구성
elasticsearch.yml 설정
YAML 문법에 따라 elasticsearch.yml 파일에서 설정 변수를 구성 합니다.
설정 변수 | Default | 상세 |
cluster.name | elasticsearch |
Cluster 이름 |
node.name | 0, 1, 2, ... (자동 생성) |
Node 이름 |
node.master node.data node.client |
true true false |
Node 종류
|
index.number_of_shards |
5 | Shard 개수 |
index.number_of_replicas |
1 | Replica 개수 |
http.enabled |
true | http 서비스를 활성화 합니다. |
http.port |
9200 | http 서비스에서 사용하는 port |
transport.tcp.port |
9300 | netty의 Transport에서 사용하는 port |
transport.tcp.compress |
true이면 Transport에서 압축 허용 | |
network.bind_host |
Client의 요청을 접수할 IP 주소 | |
network.host |
ElasticSearch Node의 IP 주소 | |
gateway.type |
local |
Cluster의 메타 정보와 Index 설정, Mapping 정보 등을 어디서 관리할 것인지 지정 Gateway 종류
|
discovery.zen.minimum_master_nodes |
1 | 최소 Master node 개수 (2개 이상 권장) |
discovery.zen.ping.timeout |
3s | |
discovery.zen.ping.multicast.enabled |
true | |
discovery.zen.ping.unicast.hosts |
Unicast 사용시 검색할 서버와 포트 예) ["host1", "host2:port"] |
Schema 설계
curl -XPUT "http://localhost:9200/aaa?pretty=true" -d @aaa.json
단계 | 상세 |
Entity 정의 |
|
Field 정의 |
|
Java 개발 환경 구성
ElasticSearch Java 환경 구성
- ElasticSearch 다운로드 사이트에서 elasticsearch-1.2.1.zip 파일을 다운로드 합니다.
- lib/elasticsearch-1.2.1.jar
- ElasticSearch github 사이트에서 elasticsearch-master.zip 파일을 다운로드 합니다.
- src/main/java/ 폴더 아래의 소스 파일을 사용 합니다.
Lucene Java 환경 구성
- Lucene 사이트에서 "DOWNLOAD" 버튼을 눌러 lucene-4.8.1.zip 파일을 다운로드 합니다.
- core/lucene-core-4.8.1.jar
- Lucene 사이트에서 "DOWNLOAD" 버튼을 눌러 lucene-4.8.1-src.tgz 파일을 다운로드 합니다.
- core/src/java/ 폴더 아래의 소스 파일을 사용 합니다.
Arirang Java 환경 구성
- SVN 저장소에서 소스를 다운로드 합니다.
- arirang.morph 소스를 먼저 받아 mvn install 진행
- http://cafe.naver.com/korlucene/1102
- http://svn.apache.org/repos/asf/lucene/dev/branches/lucene4956/lucene/analysis/arirang/
- 사전 구성 및 사용법
파일:Arirang 사전.zip http://www.jopenbusiness.com/mediawiki/images/5/54/Arirang_사전.zip
REST API
JAVA API
Client
import static org.elasticsearch.node.NodeBuilder.nodeBuilder; import org.elasticsearch.client.Client; import org.elasticsearch.client.transport.TransportClient; import org.elasticsearch.common.settings.ImmutableSettings; import org.elasticsearch.common.settings.Settings; import org.elasticsearch.common.transport.InetSocketTransportAddress; import org.elasticsearch.node.Node; private Boolean getTransportClient() { Settings settings = null; settings = ImmutableSettings.settingsBuilder().put("cluster.name", CLUSTER_NAME).build(); client = new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress(HOST, PORT)); return true; } //--- elasticsearch.yml //--- cluster.name=~ private Boolean getNodeClient() { node = nodeBuilder().clusterName(CLUSTER_NAME).client(true).local(true).node(); client = node.client(); return true; }
index java api
import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder; import org.elasticsearch.action.index.IndexResponse; json = jsonBuilder().startObject() .field("name", "value") .endObject().string(); res = client.prepareIndex("index", "type", "id").setSource(json).execute().actionGet(); UtilLogger.info.print(logCaller, "_index : " + res.getIndex()); UtilLogger.info.print(logCaller, "_type : " + res.getType()); UtilLogger.info.print(logCaller, "_id : " + res.getId()); UtilLogger.info.print(logCaller, "_version : " + res.getVersion()); UtilLogger.info.print(logCaller, "_index : " + res.getIndex());
get java api
관리자 매뉴얼
사전 구성
- 국어 사전
- 온라인 사전을 통해서 주기적으로 갱신
- 위키에 등록된 명사로 주기적으로 갱신
elasticsearch.yml
- index.query.bool.max_clause_count
오류 처리
- Heap 메모리 부족시
- vi /nas/appl/elasticsearch/bin/elasticsearch.in.sh
#ES_MIN_MEM=256m #ES_MAX_MEM=1g ES_MIN_MEM=4g ES_MAX_MEM=4g
- 많은 Client에서 접속하여, 파일 개수 부족으로 오류 발생시
- 오류 메시지
org.elasticsearch.common.netty.channel.ChannelException: Failed to create a selector. Caused by: java.io.IOException: Too many open files
- 조치 방법
ulimit -n vi /etc/security/limits.conf hduser soft nofile 999999 hduser hard nofile 999999
참고 문헌
- Helloworld naver
- http://en.wikipedia.org/wiki/ElasticSearch
- 로그 파일에 대해 Elasticsearch 사용하기, 2012.10
- elasticsearch (검색엔진) 설치 – 한글형태소분석기 적용, 2012.12
- ElasticSearch 설치 및 샘플 사용기, 2012.02
- elasticsearch로 로그 검색 시스템 만들기, 2013.02
- Install ElasticSearch on CentOS 6
- elasticsearch cluster 설치 + 한글형태소분석기, 2012.12
- ElasticSearch (http://guruble.wordpress.com/tag/elasticsearch/)
- MeCab (C++로 작성)