Kafka Docker安装配置

docker常用命令

https://xiaolyuh.blog.csdn.net/article/details/72528860

下载docker镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

启动zk容器

docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper

olafwang@OLAFWANG-MB0 ~ % docker run -d -name zookeeper -p 2181:2181 wurstmeister/zookeeper
unknown shorthand flag: 'n' in -name
See 'docker run --help'.
olafwang@OLAFWANG-MB0 ~ % docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper
c58c4af034290ae1f0ad0b2c2f4214068dcae2b16fffa44ef8e1f45e3cdf1e3a
olafwang@OLAFWANG-MB0 ~ % docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
c58c4af03429        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   4 minutes ago       Up 4 minutes        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   zookeeper
olafwang@OLAFWANG-MB0 ~ %

ZooInspector 图形化工具

ZooInspector是ZooKeeper的图形化工具，ZooInspector下载地址：

https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip

解压，进入ZooInspector\build目录，通过如下命令执行jar包：

java -jar zookeeper-dev-ZooInspector.jar  & //执行成功后，会弹出java ui client

搭建单机kafka

docker run -d --name kafka1 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.35.143.132:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.35.143.132:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

olafwang@OLAFWANG-MB0 ~ % docker run -d --name kafka1 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.35.143.132:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.35.143.132:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

0c32f822f0fd40230720a079df57274411b430e9ad7aed8263678cb0da533d8a
olafwang@OLAFWANG-MB0 ~ % docker ps -a      
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
0c32f822f0fd        wurstmeister/kafka       "start-kafka.sh"         2 minutes ago       Up 2 minutes        0.0.0.0:9092->9092/tcp                               kafka1
c58c4af03429        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   30 minutes ago      Up 30 minutes       22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   zookeeper
olafwang@OLAFWANG-MB0 ~ %

指定容器命名为kafka1，指定了broker_id为0，端口号9092，zk地址为本机2181。

登录kafka容器

docker exec -it kafka1 bash 

olafwang@OLAFWANG-MB0 ~ % docker exec -it kafka1 bash 
bash-4.4#

测试

创建topic

bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --create --topic test --zookeeper 10.35.143.132:2181 --replication-factor 1 --partitions 1
Created topic test.
bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --zookeeper 10.35.143.132:2181 --describe --topic test
Topic: test PartitionCount: 1   ReplicationFactor: 1    Configs: 
    Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0
bash-4.4#

创建名为test 的topic指定zk地址、副本数为1、分区数为1。

发送消息

bash-4.4# $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 10.35.143.132:9092 --topic test 
>123
>321
>1234567
>q!
>exit
>:q!
>
>^Cbash-4.4#

使用kafka-console-producer.sh发送消息，指定broker的地址。

消费消息

bash-4.4# $KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 10.35.143.132:9092 --topic test --group testGroupId --from-beginning   
123
321
1234567
q!
exit
:q!

使用kafka-console-consumer.sh消费消息，指定broker的地址。

搭建集群

kafka只需要执行相同的zk地址，那么kafka就可以自动构建起集群。而使用docker命令可快速在同一台机器启动多个kafka，只需要改变brokerId和端口即可，如下命令，新创建了kafka2和kafka3容器：

docker run -d --name kafka2 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=10.35.143.132:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.35.143.132:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

docker run -d --name kafka3 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=10.35.143.132:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.35.143.132:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

olafwang@OLAFWANG-MB0 ~ % docker start kafka2
kafka2
olafwang@OLAFWANG-MB0 ~ % docker start kafka3
kafka3
olafwang@OLAFWANG-MB0 ~ % docker ps -a
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
b87a7b2687d6        wurstmeister/kafka       "start-kafka.sh"         31 seconds ago      Up 30 seconds       0.0.0.0:9094->9094/tcp                               kafka3
f8b73c742001        wurstmeister/kafka       "start-kafka.sh"         39 seconds ago      Up 38 seconds       0.0.0.0:9093->9093/tcp                               kafka2
0c32f822f0fd        wurstmeister/kafka       "start-kafka.sh"         2 hours ago         Up 2 hours          0.0.0.0:9092->9092/tcp                               kafka1
c58c4af03429        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   2 hours ago         Up 2 hours          22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   zookeeper

通过 docker logs kafka2可以查看容器日志。

测试

创建topic

bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --create --topic test_cluster_topic --zookeeper 10.35.143.132:2181 --replication-factor 2 --partitions 3
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
Created topic test_cluster_topic.
bash-4.4# $KAFKA_HOME/bin/kafka-topics.sh --zookeeper 10.35.143.132:2181 --describe --topic test_cluster_topic
Topic: test_cluster_topic   PartitionCount: 3   ReplicationFactor: 2    Configs: 
    Topic: test_cluster_topic   Partition: 0    Leader: 1   Replicas: 1,0   Isr: 1,0
    Topic: test_cluster_topic   Partition: 1    Leader: 2   Replicas: 2,1   Isr: 2,1
    Topic: test_cluster_topic   Partition: 2    Leader: 0   Replicas: 0,2   Isr: 0,2
bash-4.4#

创建名为test_cluster_topic 的topic指定zk地址、副本数2、分区数为3。

发送消息

bash-4.4#  $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 10.35.143.132:9092 --topic test_cluster_topic 
>123
>321
>^Cbash-4.4#

使用kafka-console-producer.sh发送消息，指定broker的地址。

消费消息

bash-4.4# $KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 10.35.143.132:9092 --topic test_cluster_topic --group testGroupId --from-beginning
123
321

使用kafka-console-consumer.sh消费消息，指定broker的地址。

Kafka Eagle 安装

Kafka Eagle是kafka的web版的管理页面：https://xiaolyuh.blog.csdn.net/article/details/108884380

安装kafka-manager

下载镜像

docker pull sheepkiller/kafka-manager

启动kafka-manager

docker run -d --name kafka-manager --link zookeeper:zookeeper --link kafka1:kafka1 -p 9001:9000 --restart=always --env ZK_HOSTS=zookeeper:2181 sheepkiller/kafka-manager

访问kafka-manager

http://127.0.0.1:9001/

image.png

Kafka Server端核心配置

#broker 的全局唯一编号，不能重复 
broker.id=0
#服务端口，默认9092
port=9092
# 是否启用删除 topic 功能使能
delete.topic.enable=true
# 处理网络请求的线程数量 
num.network.threads=3
# 用来处理磁盘 IO 的线程数量 
num.io.threads=8
# 发送套接字的缓冲区大小 
socket.send.buffer.bytes=102400
# 接收套接字的缓冲区大小 
socket.receive.buffer.bytes=102400
# 请求套接字的缓冲区大小 
socket.request.max.bytes=104857600
# kafka 运行日志存放的路径(也是消息的存放地址)
log.dirs=/opt/module/kafka/logs 
# topic 在当前 broker 上的分区个数
num.partitions=1
# 用来恢复和清理 data 下数据的线程数量 
num.recovery.threads.per.data.dir=1 
# segment 文件保留的最长时间，超时将被删除(默认7天)
log.retention.hours=168
# 配置连接 Zookeeper 集群地址 
zookeeper.connect=zookeeper101:2181,zookeeper102:2181,zookeeper103:2181

参考： https://www.cnblogs.com/busigulang/p/11296077.html

Kafka 客户端配置

# 配置的broker地址，不需要将cluster中所有的broker都配置上，因为启动后会自动的发现cluster所有的broker
bootstrap.servers=host1:port1;host2:port2…
# Message消息key和value的序列化方式
key.descrializer=
value.descrializer=
# 消费者组ID。默认值是 “”。
group.id=ConsumerGroupId
# Consumer每次调用poll()时取到的records的最大数。
max.poll.records=100
#配置consumer与coordinator之间的心跳间隔时间。心跳是确定consumer存活，加入或者退出group的有效手段。默认值是：3000 （3s）
# 这个值必须设置的小于session.timeout.ms，因为：当Consumer由于某种原因不能发Heartbeat到coordinator时，并且时间超过session.timeout.ms时，就会认为该consumer已退出，它所订阅的partition会分配到同一group 内的其它的consumer上。    
# 通常设置的值要低于session.timeout.ms的1/3。
heartbeat.interval.ms=3000
# Consumer session 过期时间。这个值必须设置在broker configuration中的group.min.session.timeout.ms 与 group.max.session.timeout.ms之间。其默认值是：10000 （10 s）
·session.timeout.ms=10000
# Consumer 在commit offset时有两种模式：自动提交，手动提交。自动提交：是Kafka Consumer会在后台周期性的去commit。默认值是true。
enable.auto.commit=true
# 自动提交间隔。范围：[0,Integer.MAX]，默认值是 5000 （5 s）
auto.commit.interval.ms=5000
#  Kafka Broker在发现kafka在没有初始offset，或者当前的offset是一个不存在的值（如果一个record被删除，就肯定不存在了）时，该如何处理。它有4种处理方式：
# 1. earliest：自动重置到最早的offset。
# 2. latest：看上去重置到最晚的offset。
# 3. none：如果边更早的offset也没有的话，就抛出异常给consumer，告诉consumer在整个consumer group中都没有发现有这样的offset。
# 4. 如果不是上述3种，只抛出异常给consumer。
auto.offset.reset=latest
# consumer到broker之间的连接空闲超时时间
connections.max.idle.ms=540000
# Fetch请求发给broker后，在broker中可能会被阻塞的（当topic中records的总size小于fetch.min.bytes时），此时这个fetch请求耗时就会比较长。这个配置就是来配置consumer最多等待response多久。
fetch.max.wait.ms=
# 当consumer向一个broker发起fetch请求时，broker返回的records的大小最小值。如果broker中数据量不够的话会wait，直到数据大小满足这个条件。取值范围是：[0, Integer.Max]，默认值是1。
fetch.min.bytes=1
# 一次fetch请求，从一个broker中取得的records最大大小。如果单条消息就超过了这个限制，那么一次就只返回一条消息。取值范围是：[0, Integer.Max]，默认值是：52428800 （5 MB）
fetch.max.bytes=52428800
# 一次fetch请求，从一个partition中取得的records最大大小。如果单条消息就超过了这个限制，那么一次就只返回一条消息。
# broker、topic都会对producer发给它的message size做限制。所以在配置这值时，可以参考broker的message.max.bytes 和 topic的max.message.bytes的配置。
max.partition.fetch.bytes=52428800
# 前面说过要求程序中不间断的调用poll()。如果长时间没有调用poll，且间隔超过这个值时，就会认为这个consumer失败了。
max.poll.interval.ms=
# 接收套接字的缓冲区大小， 默认值是：65536 （64 KB），如果值设置为-1，则会使用操作系统默认的值。
receive.buffer.byte=65536
# 请求发起后，并不一定会很快接收到响应信息。这个配置就是来配置请求超时时间的。默认值是：305000 （305 s）
request.timeout.ms=305000
# Consumer进程的标识。如果设置一个人为可读的值，跟踪问题会比较方便。
client.id=xxx
# Producer拦截器(interceptor)，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。
interceptor.classes=
# Metadata数据的刷新间隔。即便没有任何的partition订阅关系变更也行执行。默认5分钟
metadata.max.age.ms=300000

参考：https://www.cnblogs.com/huxi2b/p/7072447.html

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 158,560评论 4赞 361
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,104评论 1赞 291
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,297评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,869评论 0赞 204
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,275评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,563评论 1赞 216
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,833评论 2赞 312
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,543评论 0赞 197
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,245评论 1赞 241
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2赞 244
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1赞 258
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,359评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,006评论 3赞 235
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0赞 194
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2赞 273
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2赞 268