ElasticSearch学习笔记1

es 的来源

问题拆解

  • 如果用数据库来实现会怎么样?
  • 什么是全文检索?
  • 什么是 Lucene?

数据库实现

先看第一个问题,如果我们用数据来实现搜索功能,可能的语句就是对 string 建立索引,或者直接 like 关键字。带来的问题是什么?

  • (字符串扫描)如果有个字段是书籍描述,有个上千、上万字,那这个是时候进行字符串扫描可以说是非常慢,
  • (分词)另外,如果输入 ** 连续性程 **,如果是字符串匹配我们无法搜索出 ** 连续性方程 ** 这种关键词

什么是全文检索

全文检索做的是倒排索引,记录了 word => doc 之间的关系

什么是 Lucene

  • 全文索引,倒排索引
  • Lucene 是一个 jar 包,里面提供了整套的倒排索引和数据管理功能。我们用 java 开发的时候,可以引用 Lucene 包,调用 Lucene 提供的 api,完成索引和数据管理功能。

什么是 ElasticSearch

ElasticSearch 就是基于 Lucene 提供了更高一级别的抽象,es 管理了好多的 Lucene,每个 Lucene 都是一个实例,es 提供了集群功能,高可用,负载均衡等高级功能,简单点说:ElasticSearch = (Lucene)+ 高级特性

es 的功能

  • 全文检索:建立倒排,sql 类似于:select * from products where category_name like '% 成人用品 %
  • 数据分析:说白了就是类似于下面的 sqlselect category_id,count(1) from products group by category_id,统计每个类别的商品数量
  • 结构化搜索:能够像 sql 一样根据字段进行查询,例子:select * from products where category_id='成人用品' 查找成人商品

es 的特点

  • 分布式存储(支持 PB 级别)
  • 分布式索引(倒排)
  • 分布式分析(结构化搜索、数据分析)

es 的核心概念

  • Near Realtime(NRT):近实时,为什么说是近实时,因为 es 中从数据插入到能被搜索到时间大概是秒级别
  • Cluster:集群,集群的默认名为 elasticsearch,一个集群会有多个 node,每个 node 都属于一个集群
  • Node:集群中的每个节点都会有一个默认名字,默认名字的节点都会加入 elasticsearch 的集群
  • Document:文档是 es 中的最小数据单元,每个文档都可以用一个 json 对象来表述,每个文档对象都有 field,每个 field 都是一个数据字段
    一个例子:
book document
{
  "book_id": "1",
  "book_name": "es 深入浅出",
  "book_desc": "通俗全市 es",
  "category_id": "1",
  "category_name": "数据库"
}
  • Index:索引,包含所有结构相似的文档
  • Type:类型,每个索引里都可以有一个或多个 type,type 是 index 中的一个逻辑数据分类,一个 type 下的 document,都有相同的 field。最新的 es 中已经取消了 type 概念了每个 index 都只有一个隐藏的 index
  • shard:分片,es 可以将一个 index 分为好几个分片,每个分片可以分配到不同的 node 上。每个 shard 都是一个 Lucene 实例。
  • replica:副本,为了保证高可用,每个 shard 都需要有几个 replica 副本,同时副本在保证高可用的同时,也能提供系统的吞吐量和性能(副本提供读)。shard 会分为 primary shard (建立索引时一次设置,不能修改,默认 5 个)和 replica shard(随时修改数量,默认 1 个),默认每个索引 10 个 shard,5 个 primary shard,5 个 replica shard。此时为了保证高可用,最小应该配备的 node 是 2 个。

做一个和传统关系型数据库的对比:

Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices   -> Types  -> Documents -> Fields
图片

es的使用初步体验

的使用初步体验
可以说 es 使用相当简单,开箱即用。去官网下载完安装包后,执行 bin/elasticsearchjik 即可启动,然后访问 http://localhost:9200/?pretty 即可返回:

{
"name": "KFKDJEu",
"cluster_name": "elasticsearch",
"cluster_uuid": "h6ZDdUy5R5qUgdpvdS6xDQ",
"version": {
"number": "5.5.0",
"build_hash": "260387d",
"build_date": "2017-06-30T23:16:05.735Z",
"build_snapshot": false,
"lucene_version": "6.6.0"
},
"tagline": "You Know, for Search"
}

去这个
name: node 名称
cluster_name: 集群名称(默认的集群名称就是 elasticsearch)
version.number: 5.5.0,es 版本号
我们可以通过 config/elasticsearch.yml 来修改集群名字。

我们可以下载 kibana 去操作 es,第一个命令:GET _cluster/health,此处返回的结果

{
  "cluster_name": "elasticsearch",
  "status": "yellow",
  "timed_out": false,
  "number_of_nodes": 1,
  "number_of_data_nodes": 1,
  "active_primary_shards": 1,
  "active_shards": 1,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 1,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 50
}

为什么是 yellow,因为此时我们理论上应该有 2 个 shard,一个 primary,一个 replica,但是只有一个 node,replica 和 primary 不能在一个 node 上,所以只有一个 primary 分配了,状态是 yellow。

几个状态的明确说明:

green:每个索引的 primary shard 和 replica shard 都是 active 状态的
yellow:每个索引的 primary shard 都是 active 状态的,但是部分 replica shard 不是 active 状态,处于不可用的状态
red:不是所有索引的 primary shard 都是 active 状态的,部分索引有数据丢失了

操作说明

一般操作通过 PUT,GET,POST,DELETE 进行区分,然后操作的时候 url 按照 index/type/id 的规则解释。

PUT:创建或者覆盖
GET:查询
POST:更新
DELETE:删除

常见查询说明

1、query string search:直接将产查询的语句放到query上,适合一些简单场景
2、query DSL:特定的查询领域特定语言,发送请求的时候,通过 json body将请求发送过去,支持复杂的语法
3、query filter
4、full-text search
5、phrase search
6、highlight search
更具体的可以查看:https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html

推荐阅读更多精彩内容