[LNMP]全文检索方案:分布式Elasticsearch+Mysql

144
作者 tumg的LNMP_IOS小集
2016.04.17 15:25* 字数 1432

从2011年开始使用coreseek(基于sphinx)作为全文检索的解决方案,对于中小型应用使用还不错,但coreseek的新版一直跳票,而且在实际生产环境的表现不太稳定(单索引文件超过1G),缺少相应的运维监控工具,考虑替换其他的检索引擎。

在Yii 2.x 官方扩展中集成了Elasticsearch,于是开始学习关于Elasticsearch的资料,但由于版本更新太快,大部分资料都已经过时,所以用本文稍作记录,当然与sphinx 对比,Elasticsearch并不是完全对等的替代。

简介


概括来说是支持中文分词(重要)、多种数据源的分布式全文检索引擎,更多详细 看官网:https://www.elastic.co/products/elasticsearch/

版本说明


  • 服务器:Linux(centos 6.x)
  • java环境:JDK 1.8.0
  • elasticsearch:2.3.1
  • elasticsearch-jdbc(数据源插件):2.3.1
  • IK Analysis(中文分词插件):1.9.1

安装


JDK 环境
  1. 检查java版本
    java -version
  2. 安装1.8+JDK
    yum install java-1.8.0
  3. 查询旧版 JDK
    rpm -qa | grep java
  4. 移除旧版JDK,根据查询的旧版本包名
    yum remove java-1.6.0
Elasticsearch

1.添加yum源

创建.repo文件(elasticsearch.repo):
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

导入key:
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2.安装
yum install elasticsearch

基本配置


创建相应服务目录&目录权限
mkdir -p  /data/elasticsearch/data
mkdir -p /data/elasticsearch/logs
chown -R elasticsearch /data/elasticsearch/data
chown -R elasticsearch /data/elasticsearch/logs
Elasticsearch 配置

默认路径:/etc/elasticsearch/elasticsearch.yml

#集群名(同一个集群,名称必须相同)
cluster.name: my-application
#服务节点名(每个服务节点不一样)
node.name: node-1
#数据存储路径
path.data: /data/elasticsearch/data
#服务日志路径
path.logs: /data/elasticsearch/logs
#服务ip地址
network.host: 0.0.0.0
#服务端口
http.port: 9200
Elasticsearch 环境变量配置

默认路径:/etc/sysconfig/elasticsearch

#设置为可用内存的50%
ES_HEAP_SIZE = 1g
#其余参数参考说明进行调优(JVM)

中文分词


采用 ik 分词插件进行中文分词,支持web热更新词库,项目github地址:https://github.com/medcl/elasticsearch-analysis-ik

安装

elasticsearch plugin安装方式失败,采用手动安装

1.安装maven工具
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum install apache-maven
2.下载ik源码包
git clone https://github.com/medcl/elasticsearch-analysis-ik

cd elasticsearch-analysis-ik
3.生成jar插件包
mvn clean
mvn compile
mvn package

4.copy到plugins 目录(/usr/share/elasticsearch/plugins)
unzip target/releases/elasticsearch-analysis-ik-*.zip

cp -r target/releases/ /usr/share/elasticsearch/plugins/ik

5.配置词库(ik自带搜狗词库)
配置:/usr/share/elasticsearch/plugins/ik/config/ik/IKAnalyzer.cfg.xml

<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic;custom/sougou.dic</entry>

6.重启elasticsearch
service elasticsearch restart

数据源(JDBC importer for Elasticsearch)


插件官网:https://github.com/jprante/elasticsearch-jdbc

1. 安装:(一般 解压即可使用)
强烈建议下载与Elasticsearch 版本对应的源码包:https://github.com/jprante/elasticsearch-jdbc/tree/2.3.1.0

2. mysql数据源配置(默认脚本目录/path/bin/)

全量索引:mysql-es-all.sh

#!/bin/sh
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/../bin
lib=${DIR}/../lib
curl -XDELETE '192.168.115.115:9200/myindex'
echo '
{
"type" : "jdbc",
"jdbc" : {
"locale" : "zh_CN",
"statefile" : "statefile.json",
"timezone" : "GMT+8",
"autocommit" : true,
"elasticsearch" : {
"cluster" : "my-application",
"host" : "192.168.115.115",
"port" : "9300"
},
"index" : "myindex",
"type" : "mytype",
"url" : "jdbc:mysql://192.168.115.112:3306/search_content",
"user" : "root",
"password" : "",
"sql" : "select cid as _id,title,content from news",
"schedule": "0 0/15 0-23 ? ",
"metrics" : {
"enabled" : true,
"interval" : "5m"
},
"index_settings" : {
"index" : {
"number_of_shards" : 2,
"number_of_replicas" : 2
}
},
"type_mapping": {
"mytype" : {
"properties" : {
"title" : {
"type" : "string",
"store": "no",
"term_vector": "with_positions_offsets",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"include_in_all": "true"
},
"content" : {
"type" : "string",
"store": "no",
"term_vector": "with_positions_offsets",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"include_in_all": "true"
}
}
}
}
}
}
' | java \
-cp "${lib}/*" \
-Dlog4j.configurationFile=${bin}/log4j2.xml \
org.xbib.tools.Runner \
org.xbib.tools.JDBCImporter

增量索引:mysql-es-update.sh

通过statefile.json 里面的时间进行查询,需相应的数据表有相应的字段

...
"sql" : [
{
"statement" : "select cid as _id,title,content,from news where utime > unix_timestamp(?)",
"parameter" : [ "$metrics.lastexecutionstart" ]
}
],
...

3. shell 运行相应的脚本

如果出现运行问题,通过查看/path/bin/logs/jdbc.log 排查

常用组件


head

安装命令:
/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
使用:
http://localhost:9200/_plugin/head/


head 插件
license

安装命令:
/usr/share/elasticsearch/bin/plugin install license

kibana+marvel 监控台

elasticsearch集群监控平台

1. 安装kibana
1).添加yum源
创建.repo文件(kibana.repo):
[kibana]
name=Kibana
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

导入key:
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2).安装
yum install kibana

2. 安装Marvel
在elasticsearch 安装 Marvel 插件
/usr/share/elasticsearch/bin/plugin install marvel-agent

在kibana 安装 Marvel 插件
/opt/kibana/bin/kibana plugin --install elasticsearch/marvel/latest

3. 启动kibana
service elasticseach restart
service kibana restart

4. 使用
http://localhost:5601/app/marvel


kibana监控台界面

集群配置


服务节点的基本参数,参考 Elasticsearch 配置 进行设置,为了方便,集群机器放在同一网段下(非强制)

默认路径:/etc/elasticsearch/elasticsearch.yml

#允许多播节点自动发现
discovery.zen.ping.multicast.enabled: true
#单播节点ip配置,用于集群组件(可不设)
discovery.zen.ping.unicast.hosts: ["192.168.115.115","192.168.115.116"]

注意集群所有服务节点的插件,最好保持一致

与sphinx索引速度对比


[LNMP]全文检索引擎sphinx 与 Elasticsearch 索引速度对比

LNMP开发