[018]zookeeper 能够干什么

背景

zookeeper用于实现集群中的数据管理,比如hadoop中的leader选举、状态同步。但是这些是怎么实现的呢?那今天我就来看一下zookeepr背后的数据结构及其怎么实现进程间同步的。

写这篇文章钱打算阐述顺序为先介绍历史来源及其背景知识,然后描述描述zookeeper的一些重要特性,比如通知机制,lead选举。在通过这些特性的基础上可以知道他能够提供什么功能。

由于是边边查资料(带上自己的逻辑),实际文章阐述顺序为,先说协调的抽象概念(与同一进程对比),再说zookeeper数据结构,然后阐述在这些数据结构下zookeeper可以提供哪些功能。最后从实际应用角度来举例zookeeper如何实现同步队列和FIFO队列。

zookeeper的来源

zookeeper is a service for coordinating process of distributed applications,即它是一个分布式协调服务。怎么协调呢?通过一种分布式环境下锁机制。

关于协调的概念

并发读写数据库、多线程环境(同一进程)都会对共享数据读写,在这种情况下我们通过锁的机制来协调。

比如java中会有synchronize对象内置锁来协调对象资源访问。

public synchronized void doSomething()
    {
        System.out.println("father do something");
    }

根据不同的场景,比如为了提高性能我们会使用读写锁来解决 读多写少的场景协调,这种场景下如果采用排它锁会严重影响性能。

上面说的都是在同一进程中的协调机制,如果A调用B失败就是肯定失败,抛出异常就是调用失败。但是在分布式环境中由于网络的不确定性A调用B,B执行成功但可能一直没有回复给A。如果做过 消息中间件异步处理的就知道一条消息在发送端被执行可能晚与接收端的执行。

分布式环境中我们部署多套服务来负载均衡和增加可靠性,但是这多套服务之间协调就需要进程间的并发锁来实现,这也就是zookeeper提供的核心功能。

zookeeper 数据结构

要想知道怎么提供进程间的并发锁,我们先要了解zookeeper的数据结构。
zookeeper = zookeeper的数据模型 + 通知机制

zookeeper中每个节点称为Znode。
zookeeper的数据模型,
/|---------NameService
|
|---------Configuration
|
|---------GroupMembers
|
|---------Apps

zookeeper 根据 持久/临时 有序/无序 可以组合成4中类型的节点:
a).持久节点(persistent)
持久节点不会随着客户端连接断开而消失,只能通过主动的delete操作。
b).持久顺序节点(persistent_sequential)
与持久节点类似,额外的特性是,在它的第一级子节点维持一份时序,在创建子节点的过程中会默认在后面加上数字后缀作为节点名称,节点后缀最大值是整数最大值。
c).临时节点(ephemeral)
临时节点不能存储数据,其生命周期与会话绑定。如果客户端会话失效则该节点消失,注意不是连接断开(有时连接还在但是会话就已经失效了)。
d).临时有序(ephemeral_sequential)
该节点可以用来实现分布式锁和lead选举。

分布式锁的实现步骤如下:
客户端 create 路径为 “locknode/guid-lock-” (类型为:ephemeral_sequential节点)。
客户端通过getChildren(“locknode”)方法来获取所有已经创建的子节点。-- 不会watch子节点
客户端遍历所有子节点的路径,如果发现自己创建的节点序号最小说明获取了锁。
如果客户端自己创建的序号不是最小的,则找到序号最小的节点后对其调用exist()方法同时注册监听。
如果最小序号节点移除了,监听的客户端会收到通知,会再进行一次选举(遍历所有子节点->选取最小->注册监听)。

从这里可以看出在该类型中客户端监听的是最小序号节点。

zookeeper节点有如下特点:
每个znode节点存储的数据有版本号,即同一存储路径可以存储多份数据。(这个特性可以用来实现加锁)
znode下面可以有子节点,ephemeral节点不能有子目录(可以存储数据,比如lead服务器的ip等等)。
zookeeper客户端与服务端通过长连接连接。
znode节点可以自动编号及 sequential节点的特性。

zookeeper能够提供哪些服务

1.提供命名服务
NameService:统一命名服务,在分布式应用中,通常需要一套完整的命名规则既要能够产生唯一的名称又便于识别,这种通过树结构实现最好不过。
命名服务在zookeeper中已经内置的功能,
比如

/NameService/
            /name1  -- 对应的全局命名为name1
            /name2  -- 对应的全局命名为name2

2.提供配置管理
Configuration:
现在服务器运行程序基本上=代码+配置文件,在分布式环境中如果每台机器都要有相同的配置,每个都需要修改很不方便,所以可以把配置文件统一放在zookeeper上可以方便修改和管理。

3.提供集群管理
zookeeper能够很轻松的实现集群管理功能,多台server构成的一个集群我需要一个"总管"来管理这些服务器的状态,当有一台服务器挂掉或者加入的话都需要通知到其他兄弟服务器,同样也需要把这些事告诉给“总管”。

怎么告诉兄弟服务器,在zookeeper中是怎么实现的呢?
比如如下的节点目录,我们会在groupMembers上注册监听(client1,client2,client3都是ephemeral节点),如果client1会话关闭client1节点会消失则会在GroupMembers上调用getChildrens()通知所有的watcher(client1,client2,client都监听GroupMembers)
/./GroupMembers
/client1
/client2
/client3

如何实现leader选举呢?
leader其实就是分布式锁功能,参考“zookeeper数据结构” -> “分布式锁实现”那一节。

zookeeper 的监控

zookeeper 监控依赖于下面两个特性:
1.如果在节点X注册了watcher,那么节点X的子节点有任何变化都会通知该watcher。
2.创建EPHEMERAL类型的节点,一旦客户端和服务器的会话结束或过期,那么该节点就会消失。

zookeeper 中分布式同步锁管理

怎么创建分布式同步锁实现原理参考参考“zookeeper数据结构” -> “分布式锁实现”。
如果我需要释放锁的话直接删除自己创建的目录节点就可以了。

分布式锁有两个目标:1.保持独占 2.控制时序。这两个目标都是通过数字序号实现,通过最下的序号实现独占,通过数字大小顺序来控制时序。

zookeerper 如何通知

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、被删除、子目录节点增加删除)时,zookeeper会通知客户端。

zookeeper 场景具体 应用

常用的SOA框架就是通过 dubbo+zookeeper实现的。
这里zookeeper就实现了一个队列用于生产者->消费者模型。

1).同步队列(barrier)
同步队列是等待所有成员都到齐了这个队列才可用,比如要等集群中所有服务器都起来这个集群才对外部使用。
如果队列数量为N,其同步队列具体实现方式如下:
a).首先 父目录 /queue/ ,每个成员都监控 queue/start目录是否存在。
b).成员加入队列的时候创建/queue/member_i临时目录节点,然后调用/queue/上个getchidren()判断成员数量是否达到要求N,如果i=N则会创建queue/start目录。

2)FIFO队列
FIFO队列是一种先进先出队列,我们很容易想到ephemeral_sequential节点。
当成员入队的时候会在/queue/下创建一个节点且带有数字序号,这样先来的成员队形的数字序号是最小的,出队的时候每次都访问最小序号对应的成员就可以了。

写完后的感受

学习一定要善于抽象,即通过zookeeper 想到协调的概念。协调有进程内的协调这样跟以前java中同步锁这些概念联系起来。这样是很有助于构建你的知识体系。

参考:

http://blog.sina.com.cn/s/blog_6fb7db430102vbid.html

http://blog.csdn.net/yin380697242/article/details/52293761

http://www.open-open.com/lib/view/open1415453633887.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容