ZooKeeper 题

1、ZooKeeper 是啥,能用来做啥

是一个分布式协调系统,为分布式服务提供一致性。
可以用来做 注册中心,分布式锁,Master选举,数据的发布与订阅
实质是实现了一个文件系统(多层级的节点znode命名空间,每个节点都可以存放数据),特点watch机制

2、ZooKeeper 如何保证主从数据一致,如何实现数据的同步

Zab(ZooKeeper Automatic Broadcast) ZooKeeper原子消息广播协议

恢复模式:
当服务刚启动或者leader宕机或失联后,就进入恢复模式。崩溃恢复模式会开启下一轮的选举,选举产生的leader与过半的follower进行同步完成后,退出恢复模式。

广播模式:
收到写消息后,会将请求转发到leader节点,
leader节点会定义一个全局递增的唯一事务id zxid,包装成更新,leader会将更新发送给所有follower,
follower收到更新会将zxid与本地最大的zxid的相对比,如果更大,则将更新提案持久化到事务日志,回复leader ack消息
leader接受到超过半数的follower回复后,会向所有follower提交commit,同时将更新提交到Observer
leader自身commit更新 -- 对外可读了
follower和observer收到commit后,会将数据更新到内存数据库中,可读。回复leader ack

3、ZooKeeper选举

选举消息的内容:
ServiceId 服务器id,节点id
Zxid 事务id,服务器中存放的最大数据id,越大越新
Epoch 逻辑时钟 - 投票轮数,递增的。根据这个知道是哪一轮的投票
Server选举状态 looking选举中 leading following observing不参与投票

  1. 启动,先判断集群是否已经有leader了,如果有,就直接作为follower启动
  2. 如果处于选举状态,每台机器都在第一轮会投票给自己,并且获取其他机器的投票信息
  3. 收集到投票信息后,每台机器根据信息,先判断epoch,轮次大的胜出,然后选举zxid最大的,如果zxid一样大,选举serviceid最大的,并发起第二轮投票
  4. 如果超过半数的选票决出leader,选举结束,各个机器更改自己相应的状态 否则重复第3步

4、znode

  • persistent 持久化节点 除非手动删除,否则一直存在。可创建子节点
  • persistent seq 持久化顺序节点 比上多了个节点名后缀为自增数字 10位
  • ephemeral 临时节点 会话关闭,自动删除。不能创建子节点
  • ephemeral 临时顺序节点 比上多了个节点名后缀为自增数字 10位

create /module1 module1 创建了一个持久节点/module1,且其数据为”module1”
create -e /module1/app1 app1 创建了一个临时节点 /module1/app1,数据为”app1”
create -s /module1/app app 输出Created /module1/app0000000001

get /module1/app2
app2
cZxid = 0x20000000e
ctime = Thu Jun 30 20:41:55 HKT 2016
mZxid = 0x20000000e
mtime = Thu Jun 30 20:41:55 HKT 2016
pZxid = 0x20000000e
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

节点状态信息 :
ctime 创建时间 mtime 最新修改时间

cZxid 创建时的事务id mZxid 最新修改的事务id pZxid 子节点变更最新事务id
Zxid可用于客户端的重连,选择Zxid相同节点

cversion 当前节点的子节点变化是递增1
dataVersion 当前节点的内容版本号,每次set都会递增,不管数据是否发生变化
aclVersion acl变更版本号
版本号是避免并行更新产生的竞争

ephemeralOwner 创建该临时节点的会话的sessionId
dataLength 数据长度
numChildren 子节点个数

5、ACL (Access Control List)访问控制列表

身份认证方式:

  • world 默认,所有都可以访问 world:anyone:[permissions]
  • digest 密码访问 digest:username:Base64(Sha1(password)):[permissions]
  • ip 对指定ip进行限制 ip:109.108.1.1:[permissions]
  • auth 认证登录 auth:usernamepassword:[permissions]
    权限permissions:
  • CREATE 允许当前节点下创建子节点
  • DELETE 允许当前节点下删除子节点
  • WRITE 允许当前节点下更新操作
  • READ 允许读取当前节点内容及子节点列表
  • ADMIN 允许对当前节点进行ACL更改操作

6、Watcher机制

ZK客户端可以向ZK服务端的某个Znode节点注册Watcher监听,当指定事件发生后,服务端会向客户端发送通知。

  • 一次性 一旦触发即被移除,减轻服务端和客户端压力
  • 客户端串行执行 客户端的watcher回调过程是一个串行过程,所以回调尽量快点
  • 轻量 传输的事件只包含节点路径,事件类型,通知状态,不包含数据
  • 时效性 在session过期时间内,重连任然可以收到watcher事件

注册:
getData getChildren exist 都可以用来向服务器注册watcher
触发:
create delete setData

  1. client 发送请求,将watch的状态保存到client中,即存在于等待回复队列中
  2. 标记watch的request请求到达服务端后,服务端会将这个watcher(包含client连接属性)以字典形式保存在内存中
  3. 当watch的节点发生变化时,去字典找出注册的watch,拿出连接
  4. 根据连接发送通知
  5. client从等待回复队列中取出元素,watch的回调被触发

7、分布式锁的实现

找一个持久化节点当做一个锁节点
在锁节点下创建临时顺序节点
获取锁节点下临时节点列表,判断是否是最小的,如果是最小的,获取锁成功
如果不是最小的,则监听比当前创建的临时节点次小的节点的删除事件,阻塞等待watch通知
收到前一节点删除通知,则再次获取临时节点列表,判断自己是否是最小的节点,如果是,则获取锁成功,否则重复上述步骤

8、注册中心与Eureka区别

ZooKeeper :CP 使用主从模型,保证数据的一致性 leader宕机是停止对外服务,重新选主后再提供服务
Eureka :AP 使用无主模型,所有节点平等 客户端访问所有节点都可以提供实时服务响应。如果宕机,请求会转向其他节点。集群中不同节点数据可能不一致,需要通过网络通讯同步其他节点信息,实现数据一致。影响最终一致性的因素有网络延迟,重试机制,同步频率等

ZooKeeper支持数据存储,Eureka不支持

ZooKeeper支持watcher机制订阅变更 Eureka通过轮询

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容