Zookeeper
问题1:什么是zookeeper:
简单理解为一个集群管理软件
作用:配置维护、统一命名服务、状态同步服务、集群管理等。
问题2: zookeeper和yarn有什么区别?
分布式系统有很多问题 其中有两个
Zookeeper偏重解决分布式系统中的Coordination
Yarn偏重解决系统中的Resource Management
看回答: https://www.zhihu.com/question/41254423
问题3:能否介绍一个zookeeper的使用场景
主备结点的容灾 - 主节点挂掉了, 备用启用的时候, 所有任务的信息可能都放在zookeeper里, 备用结点从这里取回任务信息, 保准系统继续稳定运行.所以从这看zookeeper里存的可能有配置文件, 任务信息等.
问题: zookeeper的设计理念
强一致性:client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。
可靠性: 如果消息m被到一台服务器接受，那么它将被所有的服务器接受。
原子性: 更新只能成功或者失败，没有中间状态。
问题4: 工作原理
zookeeper要处理的是集群之间的协同问题, 那么处理协同问题有2中办法:
- 不同服务器之间相互传递信息
- 广播(开辟一个公共频道大家都能收听消息)
zookeeper选择的是2.
Zookeeper 的核心是广播，这个机制保证了各个Server之间的同步.实现这个机制的协议叫做Zab协议。
问题5: zookeeper的内部结构是什么样的?
zookeeper也是集群, 是master-slave model.
为什么这么设计? 分布式的模式要有主从, 二, 可以实现强一致性
为什么要强一致性? 保证集群中的信息一致,解决的就是协同问题
问题6: zookeeper的数据模型是什么样的?
可以将zk看成一个文件系统, 但是没有文件也没有目录, 而是统一使用结点的概念, 叫做znode. znode既可以保存数据, 也可以保存其它znode.
其中, znode分成几种:
- Persistent Nodes: 永久有效结点
- Ephemeral Nodes: 临时结点, 仅在创建该节点的client这边保持有效, 一旦连接丢失, zk会自动删除该节点
- Sequence Nodes: 顺序节点, 用户实现分布式queue等功能
问题7: 既然是主从模式, 那么master node是怎么选出来的?
通过投票选举制度. 所有的server开始都是slave, 对任意一个server,开始第一次都会投自己. 这个投票会包含所推举的server的myid和zxid. 然后他们把这个投票发给集群中的其它机器. 当这个server收到其他server发来的信息后,要处理投票. 怎么处理呢?
· 优先检查ZXID。ZXID比较大的服务器优先作为Leader。
· 如果ZXID相同，那么就比较myid。myid较大的服务器作为Leader服务器。
再进行一次统计(由发起投票的server统计), 得票最多的server被选举为leader. 具体是, 某个server获得n/2 + 1的票, 它就会变为leader. 否则的话, 继续这个过程.
Follow up1: 什么时候会进行投票选举?
- 非leader的server宕机了不会2)leader挂了,会3)初始化起集群的时候, 会
Follow up2: 什么是zxid, 他有什么用?
每个znode维护的一个属性结构, 它包含着版本号, 时间戳.
问题8: zookeeper是如何去处理一个请求的?
首先, zk是集群服务器, 里面会放着一些其它应用的, 比如配置信息. 如果想更新这个配置信息, 那么需要向zk发请求. 通过zk的客户端, 与zk的server建立连接. 这个连接叫一个对话(session), client可以与zk集群中的任何一个server连接(因为这些server的数据都是一模一样的.)
所有的请求(读写,改查)都要通过leader来进行. 一个请求过来以后, leader server会为这个请求生成一个proposal, 并将其发送给集群总所有follower server. follower server收到proposal后处理也很简单, 将该proposal写入事务日志, 然后反馈ACK给leader. leader收到过半follower 的ACK后, 会广播commit笑给给所有的follower, 并将事务应用到内存.
Follow up: ZAB协议中为什么要用过半同意这种制度?
这是在可用性与一致性之间做的取舍.牺牲掉了部分一致性(舍弃全员通过), 能在集群板书一下服务宕机时正常对外提供服务, 这也体现了它的容错性.
问题9: zookeeper是如何实现一致性原理的?
实现一致性原理的核心是ZAB协议, 需要做到:
- 集群在半数 一下结点宕机的情况下, 能正常对外提供服务(所以配置要一般配置奇数个服务器)
-
客户端的写请求全部交给leader来处理. leader需要确保写的change能实时同步给所有follower.
ZAB协议有2中模式, 崩溃恢复(选leader+数据同步), 和消息广播.
image
