ZK系列之ZooKeeper使用入门

ZK系列之ZooKeeper使用入门

准本条件

操作系统

ZK包含了很多组件,有些组件支持很多系统,而有些只支持部分。组件如下:

  • Client: Java客户端库,用于连接ZK。

  • Server: Java服务端运行在ZK集群节点。

  • Native Client:C实现的客户端,类似于Java客户端,应用程序连接ZK。

  • Contrib:可选择的插件组件。

    操作系统 Client Server Native Client Contrib
    GNU/Linux 支持 支持 支持 支持
    Solaris 支持 支持 不支持 不支持
    FreeBSD 支持 支持 不支持 不支持
    Windows 支持 支持 不支持 不支持
    Mac OS X 仅支持开发 仅支持开发 不支持 不支持

需要说明的是支持指的是开发和生产环境。从上面的表可以看出,需要根据需求选择合适的操作系统,以便使用ZK。

软件要求

ZK是使用Java语言编写,所以操作系统需要安装Java环境,JDK版本必须是1.6以上。若是采用zk集群方式,至少需要3个节点,最好运行在不同的机器上。

安装ZK

下载zookeeper-3.4.12.tar.gz,然后解压到你喜欢的目录下即可。

单机模式与集群模式

ZK支持单机模式也支持集群模式,还有伪集群模式(一种退化的集群模式)。

配置文件

在conf目录下面,拷贝一份 zoo_sample.cfg,然后把名字改为 zoo.cfg。下面是一个简单的配置项:

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk/data
dataLogDir=../../../tmp/zk/log
clientPort=2181
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP2:2888:3888

注意:将IPi修改为服务器1,在单机模式中无须配置;

参数说明:

  • tickTime:Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳。
  • initLimit:用来配置Zookeeper接受客户端(ZK服务集群中连接到Leader的Follower服务器)初始化连接时最长能忍受多少个心跳时间间隔数;时间长度:initLimit*tickTime
  • syncLimit:Leader与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,syncLimit*tickTime
  • dataDir:Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
  • dataLogDir:zk保存日志的地方。
  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
  • server.A=B:C:D:其中 A 是一个数字(1~255),表示这个是第几号服务器,;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

需要在dataDir目录下创建myid文件,里面的内容为A,注意每台机器需要一一对应

脚本说明

在 ZooKeeper的bin目录下的脚本内容:

脚本 说明
zkCleanup 清理ZooKeeper历史数据,包括事务日志文件和快照数据文件
zkCli ZooKeeper的一个简易客户端
zkEnv 设置ZooKeeper的环境变量
zkServer ZooKeeper服务器的启动、停止和重启脚本

单机模式

配置zoo.cfg

单机模式只适合在开发模式,在conf/zoo.cfg配置如下内容:

 tickTime=2000
 dataDir=../../../tmp/zk/data
 dataLogDir=../../../tmp/zk/log
 clientPort=2181

启动服务

进入到bin目录,执行脚本:zkServer.sh(linux) 或 zkServer.cmd(win)。

检测

  1. 使用 netstat -ano 命令

启动服务之后,使用netstat -ano查看,比如在win中的命令:netstat -ano | findstr 2181;在linux下使用:netstat -nao | grep 2181

  1. 使用 telnet 127.0.0.1 2181, 输入 stat
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:/127.0.0.1:56800[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x23
Mode: standalone
Node count: 11

注意: Mode: standalone,表示单机模式。

集群模式

我们在一台机器上构建3个节点的伪集群模式。真正的集群模式与之类似,只是在配置项中有少许不同。构建三个节点:

 zookeeper-1
 zookeeper-2
 zookeeper-3

配置zoo.cfg

在zookeeper-1的conf/zoo.cfg

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk1/data

dataLogDir=../../../tmp/zk1/log
clientPort=2181
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-2的conf/zoo.cfg

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk2/data

dataLogDir=../../../tmp/zk2/log
clientPort=2182
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

在zookeeper-3的conf/zoo.cfg

tickTime=2000
initLimit=5
syncLimit=2
dataDir=../../../tmp/zk3/data

dataLogDir=../../../tmp/zk3/log
clientPort=2183
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

从上面的配置可以看出,由于在同一台机器上,所以需要配置不同的clientPort, 每个server中的端口配置不同。若是在不同的机器上,clientPort配置一样,每个server中配置的IP不同,但后面两个端口一样,也就是说不同机器构建集群的话,三份配置文件是一样的。

在dataDir目录下新建myid文件,文件内容是server.x中的x,此示例中分别为1,2,3

启动服务

分别进入:zookeeper-x\bin,执行zkServer脚本,启动服务。

检查是否启动成功

  1. 使用 netstat 命令: netstat -ano | findstr 218[1,2,3]

      TCP    0.0.0.0:2181           0.0.0.0:0              LISTENING       8520
      TCP    0.0.0.0:2182           0.0.0.0:0              LISTENING       9212
      TCP    0.0.0.0:2183           0.0.0.0:0              LISTENING       8736
      TCP    [::]:2181              [::]:0                 LISTENING       8520
      TCP    [::]:2182              [::]:0                 LISTENING       9212
      TCP    [::]:2183              [::]:0                 LISTENING       8736
    
  2. 使用telnet

  • telnet 127.0.0.1 2181, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
    Clients: /127.0.0.1:58669[0](queued=0,recved=1,sent=0)
    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0x300000002
    Mode: follower
    Node count: 13
    
  • telnet 127.0.0.1 2182, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
    Clients:/127.0.0.1:58691[0](queued=0,recved=1,sent=0)
    
    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0xb00000000
    Mode: leader
    Node count: 13
    
  • telnet 127.0.0.1 2183, 然后输入 stat

    Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on
    03/27/2018 03:55 GMT
    Clients:
    /127.0.0.1:58706[0](queued=0,recved=1,sent=0)
    
    Latency min/avg/max: 0/0/0
    Received: 1
    Sent: 0
    Connections: 1
    Outstanding: 0
    Zxid: 0x
    300000002
    Mode: follower
    Node count: 13
    

构建集群结构

从Mode来看,可以看出构建的集群结构是:

                        node2 --- leader
                        /   \
                        /     \
      Follower --- Node1    Node3 --- Follower

zk基于层次型的目录树数据结构,并对树中的节点进行有效管理,为此提供了一套很好的分布式集群管理的机制。

客户端玩zk

  1. 连接server:zkCli.cmd -server 127.0.0.1:2181
  2. 创建节点
  • 查看节点

    [zk: 127.0.0.1:2181(CONNECTED) 2] ls /
    [dubbo, zookeeper, app2, app1, app3]
    
  • 创建节点

创建一个节点zk_test,关联到的数据是 my_data

[zk: 127.0.0.1:2181(CONNECTED) 3] create /zk_test my_data
Created /zk_test
[zk: 127.0.0.1:2181(CONNECTED) 4] ls /
[dubbo, zookeeper, app2, app1, app3, zk_test]
  • 查看节点信息

    [zk: 127.0.0.1:2181(CONNECTED) 5] get /zk_test
    my_data
    cZxid = 0xb00000002
    ctime = Tue Mar 19 19:20:00 CST 2019
    mZxid = 0xb00000002
    mtime = Tue Mar 19 19:20:00 CST 2019
    pZxid = 0xb00000002
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 0
    [zk: 127.0.0.1:2181(CONNECTED) 6]
    
  • 更新节点信息

    [zk: 127.0.0.1:2181(CONNECTED) 6] set /zk_test junk
    cZxid = 0xb00000002
    ctime = Tue Mar 19 19:20:00 CST 2019
    mZxid = 0xb00000003
    mtime = Tue Mar 19 19:57:15 CST 2019
    pZxid = 0xb00000002
    cversion = 0
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 0
    
  • 删除节点

    [zk: 127.0.0.1:2181(CONNECTED) 7] delete /zk_test
    [zk: 127.0.0.1:2181(CONNECTED) 8] ls /
    [dubbo, zookeeper, app2, app1, app3]
    [zk: 127.0.0.1:2181(CONNECTED) 9]
    
  • 注意删除非空节点报:Node not empty: xxx

    • 创建节点
    [zk: 127.0.0.1:2181(CONNECTED) 11] create /zk_test my_test
    Created /zk_test
    
    • 创建子节点
    [zk: 127.0.0.1:2181(CONNECTED) 12] ls /
    [dubbo, zookeeper, app2, app1, app3, zk_test]
    [zk: 127.0.0.1:2181(CONNECTED) 13] create /zk_test/child junk
    Created /zk_test/child
    [zk: 127.0.0.1:2181(CONNECTED) 14] ls /
    [dubbo, zookeeper, app2, app1, app3, zk_test]
    [zk: 127.0.0.1:2181(CONNECTED) 15] ls /zk_test
    [child]
    
    • 查看节点信息
      [zk: 127.0.0.1:2181(CONNECTED) 16] get /zk_test
      my_test
      cZxid = 0xb00000005
      ctime = Tue Mar 19 20:20:45 CST 2019
      mZxid = 0xb00000005
      mtime = Tue Mar 19 20:20:45 CST 2019
      pZxid = 0xb00000006
      cversion = 1
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x0
      dataLength = 7
      numChildren = 1
    
      [zk: 127.0.0.1:2181(CONNECTED) 17] get /zk_test/child
      junk
      cZxid = 0xb00000006
      ctime = Tue Mar 19 20:21:05 CST 2019
      mZxid = 0xb00000006
      mtime = Tue Mar 19 20:21:05 CST 2019
      pZxid = 0xb00000006
      cversion = 0
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x0
      dataLength = 4
      numChildren = 0
    
    • 删除非空节点

        [zk: 127.0.0.1:2181(CONNECTED) 18] delete /zk_test
        Node not empty: /zk_test
        [zk: 127.0.0.1:2181(CONNECTED) 19]
      

参考资料

  1. ZooKeeper Getting Started Guide
  2. 系统支持
  3. zookeeper-3.4.12.tar.gz
  4. 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
  5. zookeeper复制模式
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • 1 Zookeeper概述# ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决...
    七寸知架构阅读 7,269评论 0 101
  • ... 一、相关概念 中间件:为分布式系统提供协调服务的组件,如专门用于计算服务的机器就是一个计算型中间件,还有专...
    帅可儿妞阅读 401评论 0 0
  • 今天是周四,今天林哥去E世界面试去了,所以这边就我们三个人,也没活干,不过我的目标是明确的,所以刚来就进入了状态,...
    8f6f2a102b12阅读 108评论 0 0
  • 侯明明 国画彩竹:《舞春风》 画心:175cmx91cm《舞春风》14.3325平尺作者:侯明明类别:国画彩竹创作...
    4182204ab311阅读 409评论 0 3
  • 梨花零落,满地飘散香自尽; 纷雪暮舞,犹怜玉蝶断翅飞。 不信多情,断肠离恨曲中哀; 烟雨诵秋,梧桐叶尽两相愁。
    朕在此处阅读 360评论 0 0