一致性哈希算法理解 ( consistent hashing )

概述

维基百科上的解释:

Consistent hashing is a special kind of hashing such that when a hash table is resized, only { K/n} K/n keys need to be remapped on average, whereK is the number of keys, and { n} n is the number of slots. In contrast, in most traditional hash tables, a change in the number of array slots causes nearly all keys to be remapped because the mapping between the keys and the slots is defined by a modular operation.

一致性哈希算法是一种特殊的哈希算法,当哈希表槽位的数量(大小)发生变化时,平均只会引起{K/n}个关键字需要重新映射,其中K是关键字的数量,n是哈希表的大小。而其他哈希算法因为涉及到哈希表槽位数量取模(hash(o) mod n)运算,如果增加或减少哈希表的大小(槽位),几乎所有关键字都需要重新映射。

一致性哈希算法经常运用在分布式缓存系统中,映射数据到对应的缓存主机中。

原理

可以这样理解一致性哈希算法,将所有的可能的hash值组成一个环(ring),首尾相接,先将哈希表的槽位(node,也就是分布式缓存系统中的主机)取hash值,在环中定好位置。如下图所示:


图 1


如果有数据对象需要被缓存,计算出该对象的哈希值后,在该环中找到比它哈希值大且最近的node,这个node就是该对象的缓存主机。如下图所示,B是1对象的缓存主机:


图 2

增加节点

假设有如下图的哈希环,对象8分配到A,对象1、4、6、7被分配到B,对象2、3被分配到C:


图 3

如果此时加入另一台主机D,其哈希的位置在B和A之间,那么在系统中,只要重新计算对象6的哈希值,将其映射到D,其余对象的映射不需要重新计算:

图 4

删除节点

如果现在主机C宕机无法连接,在系统中,也只要重新计算对象2、3的哈希值,映射到A,其余对象的映射也不需要重新计算:


图 5

平衡

假设以 node 的实际 hash 值作为其在环中的位置,由于这些值并不会均匀的落在环上,导致这些 node 所“管辖”的范围并不平均,最终结果是数据分布的不平均,从图 1 可以看出 B 节点的范围最大,而 A 节点的范围最小。

解决这种不平衡的方式是引入虚节点 (Partition) :一个物理节点(node)会分到非常多的虚节点(Partition),实际缓存对象会被映射到虚节点上,然后系统根据虚节点找到物理节点,最后把对象缓存到物理节点上。

这样由虚节点的大规模分布,来保证物理节点的“管辖”范围的均匀分布。如果不同物理节点存在不同权重,可以通过给高权重的节点分配更多的虚节点来达到目的。


图 6

事例 in Java 

参考文档

维基百科(需要翻墙)

https://community.oracle.com/blogs/tomwhite/2007/11/27/consistent-hashing

http://yikun.github.io/2016/06/09/%E4%B8%80%E8%87%B4%E6%80%A7%E5%93%88%E5%B8%8C%E7%AE%97%E6%B3%95%E7%9A%84%E7%90%86%E8%A7%A3%E4%B8%8E%E5%AE%9E%E8%B7%B5/

https://www.codeproject.com/articles/56138/consistent-hashing

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容