Kafka集群部署与shell命令行操作

1、kafka简介
在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。

KAFKA + STORM +REDIS

1、Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
2、Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
3、Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。
4、Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。
5、无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性
注：类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。
2、kafka集群部署
kafka集群跟storm集群类似，分为：下载安装包、解压安装包、修改配置文件、分发安装包（之后需要在各个机器上再次修改配置文件）、启动集群。

准备工作
这里使用三台机器进行集群:mini1,mini2,mini3
关闭防火墙，各机器的hosts文件如下

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 localhost.jinbm
192.168.25.127 mini1
192.168.25.129 mini2
192.168.25.130 mini3

1、下载安装包并上传到mini1机器上，这里下载的是 kafka_2.11-0.11.0.0.tgz；
2、解压安装包导指定目录，我这台机器的apps目录下安装了很多大数据相关的软件，所以解压到该目录了，并且重命名。

[root@mini1 ~]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C apps/
[root@mini1 ~]# cd apps/
[root@mini1 apps]# ll
总用量 28
drwxr-xr-x.  8 root   root   4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxrwxr-x. 10 hadoop hadoop 4096 9月  30 22:04 hadoop-2.6.4
drwxr-xr-x.  7 root   root   4096 10月 30 00:20 hbase
drwxr-xr-x.  8 root   root   4096 10月 17 12:38 hive
drwxr-xr-x.  5 root   root   4096 1月  29 2015 kafka_2.11-0.11.0.0
drwxr-xr-x. 10 root   root   4096 10月 30 15:34 storm
drwxr-xr-x. 10 root   root   4096 10月 29 23:21 zookeeper-3.4.6
[root@mini1 apps]# mv kafka_2.11-0.11.0.0/ kafka
[root@mini1 apps]# ll
总用量 28
drwxr-xr-x.  8 root   root   4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxrwxr-x. 10 hadoop hadoop 4096 9月  30 22:04 hadoop-2.6.4
drwxr-xr-x.  7 root   root   4096 10月 30 00:20 hbase
drwxr-xr-x.  8 root   root   4096 10月 17 12:38 hive
drwxr-xr-x.  5 root   root   4096 1月  29 2015 kafka
drwxr-xr-x. 10 root   root   4096 10月 30 15:34 storm
drwxr-xr-x. 10 root   root   4096 10月 29 23:21 zookeeper-3.4.6

3、修改配置文件，进入kafka的config目录下，可以查看到各类配置文件，这里修改server.properties 。

[root@mini1 config]# ll
总用量 32
-rw-r--r--. 1 root root 1199 1月  29 2015 consumer.properties
-rw-r--r--. 1 root root 3846 1月  29 2015 log4j.properties
-rw-r--r--. 1 root root 2228 1月  29 2015 producer.properties
-rw-r--r--. 1 root root 5559 1月  29 2015 server.properties
-rw-r--r--. 1 root root 3325 1月  29 2015 test-log4j.properties
-rw-r--r--. 1 root root  993 1月  29 2015 tools-log4j.properties
-rw-r--r--. 1 root root 1023 1月  29 2015 zookeeper.properties
[root@mini1 config]# vi server.properties 
#broker的全局唯一编号，不能重复
broker.id=0

listeners=PLAINTEXT://mini1:9092

#处理网络请求的线程数量
num.network.threads=3

#用来处理磁盘IO的线程数量
num.io.threads=8

#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400

#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400

#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka运行日志存放的路径
log.dirs=/root/apps/kafka

#topic在当前broker上的分片个数
num.partitions=2

#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1

#segment文件保留的最长时间，超时将被删除
log.retention.hours=168

#滚动生成新的segment文件的最大时间
log.roll.hours=168

#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824

#周期性检查文件大小的时间
log.retention.check.interval.ms=300000

#日志清理是否打开
log.cleaner.enable=true

#broker需要使用zookeeper保存meta数据
zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000

#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000

#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000

#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true

4、将mini1上的kafka分发到mini2和mini3上

[root@mini1 ~]# scp -r apps/kafka/ mini2:/root/apps/
[root@mini1 ~]# scp -r apps/kafka/ mini3:/root/apps/

5、再次修改mini2和mini3上的配置文件server.properties，修改两处，一个是broker编号一个是主机名
mini2上如下

#broker的全局唯一编号，不能重复
broker.id=1
listeners=PLAINTEXT://mini2:9092

mini3上如下

#broker的全局唯一编号，不能重复
broker.id=2
listeners=PLAINTEXT://mini3:9092

6、到这里配置完了，但是为了不进入kafka的bin目录下就能执行命令行操作，所以需要修改环境变量。三台机器上修改均如下(添加最后两行)

[root@mini1 ~]# vi /etc/profile
...
JAVA_HOME=/heima32/jdk1.7.0_55/
HADOOP_HOME=/root/apps/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HBASE_HOME=/root/apps/hbase
export PATH=$PATH:$HBASE_HOME/bin
export STORM_HOME=/root/apps/storm
export PATH=$PATH:$STORM_HOME/bin
export KAFKA_HOME=/root/apps/kafka
export PATH=$PATH:$KAFKA_HOME/bin

7、启动集群
依次启动mini1，mini2和mini3上的kafka（进入kafka安装目录执行以下命令）

[root@mini1 kafka]# bin/kafka-server-start.sh config/server.properties

3、kafka命令行操作
1、创建topic（注：因为修改了环境变量，所以不管有没有进入bin目录都能执行相应命令行操作）
参数表示：指定副本数，使用几个partition（分片），topic名称

[root@mini1 bin]# ./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 3 --topic orderMq
Created topic "orderMq".
[root@mini1 kafka]# kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 3 --topic test
Created topic "test".

2、查看当前存在哪些topic

[root@mini1 kafka]# kafka-topics.sh --list --zookeeper mini1:2181
orderMq
test

3、删除指定topic

[root@mini1 kafka]# kafka-topics.sh --delete --zookeeper mini1:2181 --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
[root@mini1 kafka]# kafka-topics.sh --list --zookeeper mini1:2181
orderMq

4、通过shell命令行发送message(消息)

[root@mini1 bin]# kafka-console-producer.sh --broker-list mini1:9092 --topic orderMq
hello tom
hi jerry
spring ^H
hhaah
xixi
nini

5、通过shell命令行消费消息

[root@mini1 bin]# kafka-console-consumer.sh --zookeeper mini1:2181 -from-beginning --topic orderMq
hello tom
hi jerry
spring 
hhaah
xixi
nini

注：这里的生成和消费是同顺序的，但有时候是不会顺序一致的，只能保证消费一个partition里面的消息时是一致，消费多个partition（上面指定了消息被发送到了4个partition）里面的是不能保证顺序完全一致。

6、查看某个topic的详情
orderMq这个topic有用了三个partition（自己创建的时候指定的），各自有2个副本（也是自己创建的时候指定的）以及对于的leader（用处后面讲）。

[root@mini2 bin]# ./kafka-topics.sh --topic orderMq --describe --zookeeper mini1:2181
Topic:orderMq   PartitionCount:3        ReplicationFactor:2     Configs:
        Topic: orderMq  Partition: 0    Leader: 2       Replicas: 2,0   Isr: 0,2
        Topic: orderMq  Partition: 1    Leader: 0       Replicas: 0,1   Isr: 0,1
        Topic: orderMq  Partition: 2    Leader: 1       Replicas: 1,2   Isr: 1,2

接下来再创建个topic并且查看详情（使用4个partition，两个副本），并且进入运行日志存放的路径查看

[root@mini2 bin]# kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 4 --topic payment
Created topic "payment".
[root@mini2 bin]# kafka-topics.sh --topic payment --describe --zookeeper mini1:2181
Topic:payment   PartitionCount:4        ReplicationFactor:2     Configs:
        Topic: payment  Partition: 0    Leader: 2       Replicas: 2,1   Isr: 2,1
        Topic: payment  Partition: 1    Leader: 0       Replicas: 0,2   Isr: 0,2
        Topic: payment  Partition: 2    Leader: 1       Replicas: 1,0   Isr: 1,0
        Topic: payment  Partition: 3    Leader: 2       Replicas: 2,0   Isr: 2,0

[root@mini1 kafka]# cd kafka-logs/
[root@mini1 kafka-logs]# ll
总用量 32
-rw-r--r--. 1 root root    4 11月 21 22:34 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root 4096 11月 21 22:25 orderMq-0
drwxr-xr-x. 2 root root 4096 11月 21 22:25 orderMq-1
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-1
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-2
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-3
-rw-r--r--. 1 root root   64 11月 22 03:38 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root   64 11月 22 03:39 replication-offset-checkpoint
[root@mini1 kafka-logs]# cd orderMq-1
[root@mini1 orderMq-1]# ll
总用量 4
-rw-r--r--. 1 root root 10485760 11月 21 22:31 00000000000000000000.index
-rw-r--r--. 1 root root      194 11月 21 22:39 00000000000000000000.log
#00000000000000000000.log里面是发送的消息内容，乱码就没贴出来了。

最后编辑于：2020.05.29 12:32:00

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 159,290评论 4赞 363
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,399评论 1赞 294
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,021评论 0赞 243
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,034评论 0赞 207
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,412评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,651评论 1赞 219
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,902评论 2赞 313
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,605评论 0赞 199
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,339评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,586评论 2赞 246
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,076评论 1赞 261
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,400评论 2赞 253
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,060评论 3赞 236
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,083评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,851评论 0赞 195
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,685评论 2赞 274
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,595评论 2赞 270

Kafka集群部署与shell命令行操作

推荐阅读更多精彩内容