Docker搭建Kafka集群

【前言】这是基于docker-compose, 单机版的部署方式,适合于功能测试。

Docker镜像选型

wurstmeister/kafka 特点:docker hub star数最多,版本更新到 Kafka 2.0 ,zookeeper与kafka分开于不同镜像。

安装过程

假设docker、docker-compose等工具已经安装。

下载zookeeper和 kafka 镜像:

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

用户目录下创建一个docker-compose.yml文件

vi docker-compose.yml

内容如下:

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.3.5
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

[注] 10.0.3.5 是本机(vm)地址。

启动docker-compose

docker-compose up -d

[root@kafka ~]# docker-compose up -d
Creating network "root_default" with the default driver
Creating root_kafka_1     ... done
Creating root_zookeeper_1 ... done

启动多个kafka 节点,比如3个

docker-compose scale kafka=3

root@kafka ~]# docker-compose scale kafka=3
WARNING: The scale command is deprecated. Use the up command with the --scale flag instead.
Starting root_kafka_1 ... done
Creating root_kafka_2 ... done
Creating root_kafka_3 ... done

或者启动的时候一次直接启动三个kafka

[root@kafka ~]# docker-compose up --scale kafka=3 -d
Creating network "root_default" with the default driver
Creating root_kafka_1     ... done
Creating root_kafka_2     ... done
Creating root_kafka_3     ... done
Creating root_zookeeper_1 ... done

查看状态

[root@kafka ~]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED              STATUS              PORTS                                                NAMES
505cdd44ae8e        wurstmeister/kafka       "start-kafka.sh"         About a minute ago   Up About a minute   0.0.0.0:32788->9092/tcp                              root_kafka_1
a7d9cf355386        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   About a minute ago   Up About a minute   22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   root_zookeeper_1
41d84d774841        wurstmeister/kafka       "start-kafka.sh"         About a minute ago   Up About a minute   0.0.0.0:32787->9092/tcp                              root_kafka_3
e410abbc3635        wurstmeister/kafka       "start-kafka.sh"         About a minute ago   Up About a minute   0.0.0.0:32786->9092/tcp                              root_kafka_2

可用性测试

进入Kafka容器: (这里随机选择进入第二个kafka容器 root_kafka_2)

[root@kafka ~]# docker exec -it root_kafka_2 bash
bash-4.4#

创建一个topic(其中 zookeeper容器名为 root_zookeeper_1,topic名为test),输入:

bash-4.4# env | grep KAFKA_HOME
KAFKA_HOME=/opt/kafka
bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --create --topic test \
> --zookeeper root_zookeeper_1:2181 --replication-factor 1 --partitions 1
Created topic "test".

查看新创建的topic:

bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --zookeeper root_zookeeper_1:2181 --describe --topic test
Topic:test  PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: test Partition: 0    Leader: 1003    Replicas: 1003  Isr: 1003

发布消息: (输入若干条消息后 按^C 退出发布)

往broker Kafka 2 发送消息,到 kafka 1 检查能不能收到

bash-4.4# $KAFKA_HOME/bin/kafka-console-producer.sh --topic=test \
> --broker-list root_kafka_2:9092
> send message from kafka 2
>line 2
>^Cbash-4.4#

往 Kafka 3 发送消息

bash-4.4# $KAFKA_HOME/bin/kafka-console-producer.sh --topic=test \
> --broker-list root_kafka_3:9092
>send from kafka 2 to 3
>check if I can receive from kafka 1
>^Cbash-4.4#

接收消息: (按^C 退出接收)
到 kafka 1 接收,也可以去其它kafka 接收。

bash-4.4# $KAFKA_HOME/bin/kafka-console-consumer.sh \
> --bootstrap-server root_kafka_1:9092 \
> --from-beginning --topic test
send message from kafka 2
line 2
send from kafka 2 to 3
check if I can receive from kafka 1
^CProcessed a total of 4 messages
bash-4.4#

接收到的消息来自两处:root_kafka_2 和 root_kafka_3。验证通过

参考文档:
https://github.com/wurstmeister/kafka-docker
http://wurstmeister.github.io/kafka-docker/
https://www.jianshu.com/p/ac03f126980e
https://www.jianshu.com/p/8ccd712e2599

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,646评论 4 366
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,979评论 1 301
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,391评论 0 250
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,356评论 0 215
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,740评论 3 293
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,836评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,022评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,764评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,487评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,728评论 2 252
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,200评论 1 263
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,548评论 3 260
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,217评论 3 241
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,134评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,921评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,919评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,766评论 2 274

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,105评论 18 139
  • Kafka已经发布了1.0版,为了紧跟时代的步伐,最近学习了《Kafka权威指南》。书如其名,这本 Definit...
    阿狸不歌阅读 22,938评论 11 32
  • 通过docker可以很方便的搭建kafka集群作为本地测试环境使用使用docker-compose进行搭建,包含z...
    vcancy阅读 4,162评论 0 0
  • 在hyperledger fabric的orderer中,目前发布的版本是使用kafka来做排序,并没有用到所谓的...
    y9g阅读 6,490评论 0 3
  • 卢水芹158,130斤,新交了个瘦瘦的男友,很喜欢,不过水芹对自己身材一直不够自信。她常问起男友唐浩文,你喜欢胖胖...
    南方文艺_北楼阅读 759评论 0 1