在P2P审核过程中，我们需要收集借贷人的负面信息做风险评估和信息检索。在用传统的DB(如MySQL)做全文检索时由于索引是存储在磁盘导致搜索实时性很低，也无法实现对中文的分词。

因此我们引入了Elasticsearch(以下简称ES)来构建P2P领域的风险搜索引擎。

技术架构

数据收集

采用pyspider构建分布式网络爬虫， 以RabbitMQ作为消息队列，负责数据的采集，将数据持久化到MongoDB。

数据同步

以Zookeeper作为调度平台，Redis做缓存策略，实现数据的增量同步。

ES集群

我们用三台物理机搭建一套ES集群。

引入ik分词实现对中文的分词处理：

IK Analyzer中文分词：

"四川省成都市高新区金融城"->  "四川省", "成都市", "高新区", "金融城"

自定义了身份证分词插件：

"511234190012011234" ->

"511234190012011234"

"511234"

"5112341900"

"51123419001201"

"1234"

搜索平台

采用Spring Boot构建一个搜索平台做风险信息检索。

为什么要使用ES？

ES是一个基于Lucene、支持RESTful、可实时分析的分布式搜索引擎， 使用JSON通过HTTP的方式来索引数据。 Github、Stackoverflow、Mozilla、Netflix等多家公司都将ES作为他们的搜索引擎。

它具有以下优势：

Lucene的倒排索引比mysql的b-tree检索更快。

在Mysql中给两个字段独立建立的索引无法联合起来使用,必须对联合查询的场景建立复合索引。而Lucene可以任意AND或者OR组合使用索引进行检索。

ES支持nested document，可以把一批数据点嵌套存储为一个document block，减少需要索引的文档数。

ES可以把分开的数据当成一张表来查询和聚合。相比之下Mysql如果自己做分库分表的时候，联合查询不方便。

跨节点平衡集群中节点间的索引与搜索负载。

自动复制你的数据以提供冗余副本，防止硬件错误导致数据丢失。

自动在节点之间路由，以帮助你找到你想要的数据。

可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

相关概念

何为全文检索？

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引(Index)。这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-Text Search)。

关于ES

Index：索引，类似于关系数据库的database。

Type：类型，类似于关系数据库的table。

Document：文档，类似于关系数据库的一行记录。

Field：类似于关系数据库的某一列,这是ES数据存储的最小单位。

Cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。

Shard：代表索引分片，ES可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

Replica：代表索引副本，ES可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高ES的查询效率，ES会自动对搜索请求进行负载均衡。

性能优化

在实践过程中，我们会做不同程度的调优，以此来提高搜索引擎的性能。

索引性能

ES的index的线程池默认队列大小为200，实际过程中我们将其提高到500以加快索引速度，threadpool.index.queue_size: 500。

在索引文档的时候，由于读取的数据量大，不得不采用bulk操作，ES默认的队列大小过小(默认为50)，大量的写入操作降低了索引性能，我们将其大小调至3000，threadpool.bulk.queue_size: 3000，当然这个值应当根据你的数据量来定，一般来说，在大数据量的情况下，2000 - 3000能较好的提升性能。

还有一些search、get参数的设置，我们采用ES的默认配置，具体可参考(https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html)。

查询性能

路由机制

由于收集的借贷人信息来自各地，如果只有一个用户纬度，那么每次检索都需要消耗更多的时间。为了提高查询速度，减少慢查询，我们在每个集群使用不同的routing，然后在前端分析查询时，把各个不同的查询由路由引入到相应的集群，从而加快查询速度。例如，我们可以按照省份作为一个纬度，在统计分析某个省份的风险信息时，可以快速的获取结果，而不需要每个分片逐一扫描。

JVM性能

ES的Heap Size默认情况下未做优化，官方的建议是设置堆内存为可用内存的一半，在启动时可以通过设置ES_HEAP_SIZE参数来指定大小。但是Don’t Cross 32 GB!，在大内存(如256GB)的机器中，使用超过30GB(如64GB)的Heap Size还不如32GB的性能。具体的可以参照ES的官方说明

(https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html#compressed_oops)。

插件工具

Elasticsearch-Head：主要用作数据查询。

(https://github.com/mobz/elasticsearch-head)

Elasticsearch-Kopf：用户ES集群健康状态的监控。

(https://github.com/lmenezes/elasticsearch-kopf)

Elasticsearch-Knapsack：用于Import/Expoer ES数据，支持tar、zip、cpio等多种格式。

(https://github.com/jprante/elasticsearch-knapsack)

Elasticsearch-SQL：用于支持SQL查询。

(https://github.com/NLPchina/elasticsearch-sql)

Elasticsearch-analysis-ik：一款优秀的中文分词插件。

(https://github.com/medcl/elasticsearch-analysis-ik)

本文作者：白宗直(点融黑帮)， 来自点融Data Team。目前主要负责构建风控领域的搜索引擎，关注分布式应用和大数据处理，Scala爱好者，业余喜欢玩桌球、篮球、滑雪。