Elastic Search学习笔记

一、Elastic Search概述:

1.1 Elastic Search 简介

Elastic Search(ES)是一个基于Lucene构建的开源、分布式、RESTFul接口全文搜索引擎。ES还是一个分布式文档库,其中每个字段均是被索引的 数据且可被搜索,它能够扩展至数以百计的服务器存贮以及处理PB级的数据,它可以在短时间内存储、搜索和分析大量的数据。
Elastic Search的主要特点
1.横向可扩展性。增加一台机器,只需要添加集群配置,启动Elastic Search进行即可;
2.分片机制。一个索引可以分成多个Sharding,提高处理效率;
3.高可用性。每个分片可以设置多个备份,少量机器宕机不影响正常使用;

1.1 Lucene简介

Lucene是Apache软件基金会中的一个开源代码的全文搜索引擎工具包,方便实现全文检索的功能。 Lucene是倒叙排序索引,即由属性的值来确定记录的位置,而不是由记录来确定属性值。
举例(转自:《Elasticsearch技术解析与实战》):



clipboard.png

字典树采取trie树和DAT树,这部分待完善...

1.2 Lucene的核心结构:

Lucene将上面的三列分别作为词典文件(Term Dictionary)、频率文件(frequencies)、位置文件(positions)保存,其中词典文件保存了指向频率文件和文件位置的指针,通过指针可以找到该关键字的频率信息和位置信息。


Elastic Search 5版本的_socre评分.jpg

总结socre评分有如下四个原则:

1.搜索词出现次数越多,得分越高;
2.搜索词在整个索引中出现次数越少,得分越高;
3.搜索字段中所有词语数量越少,得分越高;
4.搜索词和中的某一条数据匹配字段越多,得分越高。

1.3 ES的的术语说明:

Elastic Search和mysql的对应关系

MySql Elastic Search
database index
table type
row document
cloumn field
schema mapping
index Everything is indexed
SQL query DSL
slect * from... get http://...
update talbe set... put http://...

二.集群内部结构

ES是主从模式设计

2.1 主节点(Master node)

主节点负责集群的相关操作,管理集群变更,且全局唯一,一般采用主节点和数据节点分离的部署架构。为防止数据丢失,每个主节点要知道哪些从节点有资格成为主节点的数量。

2.2 数据节点(Data node)

负责保存数据,执行数据相关的操作,一般情况下(特殊除外),数据读写只和数据节点交互,不会和主节点打交道。
当增加和删除节点时,即水平扩容,会触发rebalance操作。

clipboard.png

数据的路由:

shard = hash(routing) % primary_shard_count
routing默认值是document_id的

2.3 预处理节点(ingest node,5.0版本引入)

在索引写入数据之前,通过事先定义好的processors和pipeline,对数据进行转换、富化。processors和pipeline拦截bulk和index请求,在应用相关操作后,将文档传回给index或bulk API。

2.4 协调节点(Coordinating node)

协调节点将请求转发给Data node,每个Data node在本地执行请求,并返回给协调节点,协调节点将每个Data node的结果收集、合并甚至排序为单个全局结果,因此协调节点需要较多的CPU和内存资源。

数据写入过程:

ES写入操作.jpg

数据写入的consistency参数:

quorum(默认):
要求大部分的shard是活跃的,那么写入操作可执行。

quorum = int((primary_count+number_of_replica) /2 ) + 1

当quorum个数不够时,默认等待一分钟,如果一分钟内quorum个数仍然不够才不再执行。
one:
只要有一个primary shard是活跃的,那么写入操作可执行。
all:
当所有shard是活跃的(primary shard + replica shard),那么写入操作才可执行。

数据查询的timeout参数:

timeout机制,指定每个shard只能在timeout时间内(默认无timeout限制),将检索到的结果(可能只有一部分)返回给client,而不是等所有查询结果全部搜索出来再返回,避免搜索时间过长,影响用户体验。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容