kafka运维常用命令一:kafka 0.10.1及之后的版本

目录

  • 1.1 启停kafkaserver
  • 1.2 建立和删除topic
  • 1.3 查看topic的最大最小offset
  • 1.4 通过控制台命令生产和消费消息
  • 1.5 查看消费者状态和消费详情
  • 1.6 重置消费者offset
  • 1.7 查看topic的状态和分区负载详情
  • 此文档适用于kafka-0.10.1及之后的版本
  • 此文档所有命令默认的路径都是kafka的home,即kafka安装目录

1.1 启停kafkaserver

命令:

//启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
//关闭kafka,由于是优雅启停,在进程真的结束之前可能有一些清理工作,所以不会进程不会立刻消失,等待数秒
bin/kafka-server-stop.sh config/server.properties
//等待数秒,如果kafka进程仍无法停止,执行
kill pid
//如果仍然无法停止
kill -9 pid

启动之后,可以查看进程、日志是否正常

1.2 建立和删除topic

kafka server端需要配置delete.topic.enable=true才可以删除,否则执行删除无效,只会将topic标记为删除,不会执行真正的删除

命令:

bin/kafka-topics.sh --zookeeper ZOOKEEPER_HOST1:PORT1,ZOOKEEPER_HOST2:PORT2 --create --replication-factor REPLICA_NUM --partitions PARTITION_NUM --topic TOPIC_NAME
  • ZOOKEEPER_HOST是kafka所使用的zookeeper的ip地址,PORT是zookeeper监听的端口。多个host port之间用逗号隔开
  • TOPIC_NAME是要创建的topic的名称
  • PARTITION_NUM是要创建的topic的分区数
  • REPLICA_NUM是要创建的topic的每个分区的副本数
  • zookeeper集群不需要全部列上,给出一个可用的zk地址和端口即可

例如,新建一个名为new_created_topic的topic

//新建topic,topic name为new_created_topic,zk为笔者的kafka集群使用的zk
bin/kafka-topics.sh --zookeeper 172.21.37.197:22181 --create --replication-factor 3 --partitions 16 --topic new_created_topic

//查看建立的topic的状态
bin/kafka-topics.sh --zookeeper 172.21.37.197:22181 --describe --topic new_created_topic
显示:
Topic:new_created_topic PartitionCount:16       ReplicationFactor:3     Configs:
        Topic: new_created_topic        Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: new_created_topic        Partition: 1    Leader: 2       Replicas: 2,1,0 Isr: 2,1,0
        Topic: new_created_topic        Partition: 2    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
        Topic: new_created_topic        Partition: 3    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
        Topic: new_created_topic        Partition: 4    Leader: 2       Replicas: 2,0,1 Isr: 2,0,1
        Topic: new_created_topic        Partition: 5    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: new_created_topic        Partition: 6    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: new_created_topic        Partition: 7    Leader: 2       Replicas: 2,1,0 Isr: 2,1,0
        Topic: new_created_topic        Partition: 8    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
        Topic: new_created_topic        Partition: 9    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
        Topic: new_created_topic        Partition: 10   Leader: 2       Replicas: 2,0,1 Isr: 2,0,1
        Topic: new_created_topic        Partition: 11   Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: new_created_topic        Partition: 12   Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: new_created_topic        Partition: 13   Leader: 2       Replicas: 2,1,0 Isr: 2,1,0
        Topic: new_created_topic        Partition: 14   Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
        Topic: new_created_topic        Partition: 15   Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
其中:
第一列是topic名称;第二列是partition序号;第三列是leader副本所在的kafka broker id,和kafka配置的id一致
第三列是副本分配在哪些broker上,其值是broker id列表;第四列是处于同步状态的副本所在的broker id列表

//查看topic列表,将显示server上所有的topic的列表,不显示详细信息
bin/kafka-topics.sh --zookeeper 172.21.37.197:22181 --list

//删除topic,删除后执行上一步的list,可以看到topic已经被删除;如果server没有配置允许删除,则只会标记marked for deleted
bin/kafka-topics.sh --zookeeper 172.21.37.197:22181 --delete --topic new_created_topic

1.3 查看topic的最大最小offset

查看最大最小offset可以让我们知道某个topic的数据量是多少,并且知道每个partition的earliest和latest offset。这里解释下earliest offset和latest offset:

  • earliest offset:最早的offset,也就是最小的offset,在早期的kafka客户端api中,称之为smallest。假设partition 0的消息是从1127到7892,那么1127就是该partition的earliest offset
  • latest offset:最新offset,也就是最大的offset,在早期的kafka客户端api中,称之为largest。。假设partition 0的消息是从1127到7892,那么7892就是该partition的latest offset

该命令在查看kafka消息的存量数量或者手工调整消费者的offset时需要用到。如果kafka消费了无效的offset,即消费的offset小于实际offset最小值或者大于实际offset最大值,将返回一个错误。

命令:

//查看最小offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --topic TOPIC_NAME --time -2
//查看最大offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --topic TOPIC_NAME --time -1

例如

//这里笔者事先建立了一个名为tttttttt_topic的topic
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.21.37.194:39092 --topic tttttttt_topic --time -2
tttttttt_topic:2:1
tttttttt_topic:1:2
tttttttt_topic:0:7
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.21.37.194:39092 --topic tttttttt_topic --time -1
tttttttt_topic:2:698
tttttttt_topic:1:630
tttttttt_topic:0:639

其中partition 2的earlist offset是1,latest offset是698,则里面有698条消息;所有的加起来,便是该topic的可用信息总量。

1.4 通过控制台命令生产和消费消息

在开发测试的过程中,有时候也在生产上,为了验证我们的topic可以正常被写入消息或者可以被正常消费,通常我们需要一个简单、直接的生产/消费工具。kafka在其bin里为我们提供了这样的脚本,可以直接在kafka server上通过命令的方式模拟生产者和消费者。

1.4.1 控制台生产者-console producer

命令:

bin/kafka-console-producer.sh --broker-list BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --topic TOPIC_NAME
  • BROKER_HOST是kafka server的ip地址,PORT是server的监听端口。多个host port之间用逗号隔开
  • TOPIC_NAME是要发送消息的topic名称
  • 不用将所有的kafka server的ip和port都列在后面,事实上只要有一个或者的broker的ip和port配上就可以了,客户端连接上server之后会自动获取其他节点的信息

例如,发送消息到topic为tttttttt_topic

bin/kafka-console-producer.sh --broker-list 172.21.37.194:39092 --topic tttttttt_topic                   
>testmessage-111
>testmessage-222
>

1.4.2 控制台消费者-console consumer

命令:

bin/kafka-console-consumer.sh --bootstrap-server BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --topic TOPIC_NAME [--from-beginning] 
  • BROKER_HOST是kafka server的ip地址,PORT是server的监听端口。多个host port之间用逗号隔开
  • TOPIC_NAME是要发送消息的topic名称
  • 不用将所有的kafka server的ip和port都列在后面,事实上只要有一个或者的broker的ip和port配上就可以了,客户端连接上server之后会自动获取其他节点的信息
  • --from-beginning是可选项,如果不加,则consumer从当前的latest offset开始消费,也就是说,执行了命令之后,需要有新的消息写入,这里才能消费到;如果加上了该参数,则从earliest offset开始消费。具体需不需要看场合,但是如果加了该参数,注意大量消息的疯狂刷屏,一般我们会结合grep或者定向到文件里

在kafka-0.10.1之前,consumer的命令是“--zookeeper zookeeper列表”而不是“--bootstrap-server broker列表”,这是由于kafka在主键减少对zk的依赖。不过旧的命令依然可用,但是已经被标记为deprecated,不推荐使用,也许在后续的某个版本就会彻底移除

例如,从topic为tttttttt_topic的主题里消费消息

bin/kafka-console-consumer.sh --bootstrap-server 172.21.37.194:39092 --topic tttttttt_topic
testmessage-444
testmessage-555

1.5 查看消费者状态和消费详情

注意本节的命令仅适用于将消费者信息存放在broker上的情况。对于kafka 0.10.1之后,默认的java api都是将消费信息保存在broker上,那么适用于以下命令;如果是早期版本,或者是人为将消费者信息保存在zk或者其他地方,那么此处的命令将无效。如果是保存在zk上,可以参照第二章的相关命令。

有时候我们需要关心消费者应用的状态,一般消费者应用会自己通过日志获知当前消费到了哪个topic的哪个partition的哪个offset,但当消费者出问题之后,或者出于监控的原因,我们需要知道消费者的状态和详情,那么需要借助kafka提供的相关命令。

命令:

//首先我们需要知道当前有哪些消费者group,如果已知,此步骤可忽略
bin/kafka-consumer-groups.sh --bootstrap-server BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --list
bin/kafka-consumer-groups.sh --bootstrap-server BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --group GROUP_NAME --describe
  • BROKER_HOST是kafka server的ip地址,PORT是server的监听端口。多个host port之间用逗号隔开
  • 第一条命令是获取group列表,一般而言,应用是知道消费者group的,通常在应用的配置里,如果已知,该步骤可以省略
  • 第二条命令是查看具体的消费者group的详情信息,需要给出group的名称

例如,首先列出消费者group列表

bin/kafka-consumer-groups.sh --bootstrap-server 172.21.37.194:39092 --list
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).

console-consumer-89764
console-consumer-45728

上面的console-consumer-89764就是我们之前的console consumer。接着查看详情

bin/kafka-consumer-groups.sh --bootstrap-server 172.21.37.194:39092 --group console-consumer-89764 --describe
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).


TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
tttttttt_topic                 0          641             641             0          consumer-1-c313db2b-7758-4de0-8cbd-025997d1a4cc   /172.21.37.194                 consumer-1
tttttttt_topic                 1          632             632             0          consumer-1-c313db2b-7758-4de0-8cbd-025997d1a4cc   /172.21.37.194                 consumer-1
tttttttt_topic                 2          699             699             0          consumer-1-c313db2b-7758-4de0-8cbd-025997d1a4cc   /172.21.37.194                 consumer-1

其中

  • TOPIC:该group里消费的topic名称
  • PARTITION:分区编号
  • CURRENT-OFFSET:该分区当前消费到的offset
  • LOG-END-OFFSET:该分区当前latest offset
  • LAG:消费滞后区间,为LOG-END-OFFSET-CURRENT-OFFSET,具体大小需要看应用消费速度和生产者速度,一般过大则可能出现消费跟不上,需要引起应用注意
  • CONSUMER-ID:server端给该分区分配的consumer编号
  • HOST:消费者所在主机
  • CLIENT-ID:消费者id,一般由应用指定

1.6 重置消费者offset

注意本节的命令仅适用于将消费者信息存放在broker上的情况。对于kafka 0.10.1之后,默认的java api都是将消费信息保存在broker上,那么适用于以下命令;如果是早期版本,或者是人为将消费者信息保存在zk或者其他地方,那么此处的命令将无效。如果是保存在zk上,可以参照第二章的相关命令。

通过上一节,我们知道了如何查看消费者详情,那么在生产实践中,有时我们可能希望认为修改消费者消费到的offset位置,以达到重新消费,或者跳过一部分消息的目的,这时候重置offset的工具就非常实用。

命令:

bin/kafka-consumer-groups.sh --bootstrap-server BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --group GROUP_NAME  --reset-offsets --execute --to-offset NEW_OFFSET --topic TOPIC_NAME
bin/kafka-consumer-groups.sh --bootstrap-server BORKER_HOST1:PORT1,BORKER_HSOT2:PORT2 --group GROUP_NAME  --reset-offsets --execute --to-earliest/--to-latest --topic TOPIC_NAME
  • BROKER_HOST是kafka server的ip地址,PORT是server的监听端口。多个host port之间用逗号隔开
  • 第一条命令是将指定GROUP_NAME和topic的offset修改到NEW_OFFSET的位置,重启消费者后,消费中将从指定的offset处消费。注意这里只能NEW_OFFSET只能设置一个值,也就是说,所有的分区都将使用这个值,如果分区消息负载不均衡,需要考虑是否适用。
  • 第二条命令是将指定GROUP_NAME和topic的offset修改到earliest或者latest位置,使得消费者从头或者从尾部消费。

例如,消费者将tttttttt_topic的信息全部都消费了,假设此时我想将每个分区的offset都拉到200去,从200往后重新消费,则通过命令

bin/kafka-consumer-groups.sh --bootstrap-server 172.21.37.194:39092 --group test_consumer_group_1  --reset-offsets --execute --to-offset 200 --topic tttttttt_topic
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).


TOPIC                          PARTITION  NEW-OFFSET     
tttttttt_topic                 2          200            
tttttttt_topic                 1          200            
tttttttt_topic                 0          200         

即可,这时候可以使用上一节的命令进行检查

bin/kafka-consumer-groups.sh --bootstrap-server 172.21.37.194:39092 --group test_consumer_group_1 --describe       Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).

Consumer group 'test_consumer_group_1' has no active members.

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
tttttttt_topic                 0          200             641             441        -                                                 -                              -
tttttttt_topic                 2          200             699             499        -                                                 -                              -
tttttttt_topic                 1          200             632             432        -                                                 -                              -

可以看到offset已经被调整到了200

注意:需要先停掉消费者,才可以成功执行该命令

另,可以通过直接更换消费者group id的方式,配合消费者默认的消费策略,可以达到类似的效果,反而更加简单、高效和安全。

1.7 查看topic的状态和分区负载详情

当broker出现宕机,恢复之后,我们可以看下topic的leader是否负载均衡。因为kafka的所有读写消息的请求,都是发送到partition leader上的,因此在生产环境,负载均衡显得尤其重要。

命令:

bin/kafka-topics.sh --zookeeper ZOOKEEPER_HOST1:PORT1,ZOOKEEPER_HOST2:PORT2 --describe --topic TOPIC_NAME
  • ZOOKEEPER_HOST是kafka所使用的zookeeper的ip地址,PORT是zookeeper监听的端口。多个host port之间用逗号隔开
  • 类似的,zookeeper集群不需要全部列上,给出一个可用的zk地址和端口即可

例如,查看topic为dcs_storm_collect_info_ios的负载信息:

bin/kafka-topics.sh --zookeeper 172.21.22.161:2181 --describe --topic dcs_storm_collect_info_ios
显示信息 :
Topic:dcs_storm_collect_info_ios        PartitionCount:16       ReplicationFactor:2     Configs:
    Topic: dcs_storm_collect_info_ios       Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 1    Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 2    Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 3    Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 4    Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 5    Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 6    Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 7    Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 8    Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 9    Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 10   Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 11   Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 12   Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 13   Leader: 1       Replicas: 1,0   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 14   Leader: 0       Replicas: 0,1   Isr: 0,1
    Topic: dcs_storm_collect_info_ios       Partition: 15   Leader: 1       Replicas: 1,0   Isr: 0,1

本例中查看的是topic dcs_storm_collect_info_ios,其分区数是16(PartitionCount:16),副本数是2(ReplicationFactor:2)
根据第一行的分区信息
Topic: dcs_storm_collect_info_ios       Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0,1
我们知道编号为0的分区,其副本在broker id 0 和id 1上(Replicas: 0,1)
其分区的首领也就是leader是broker 0,也就是编号为0的那个kafka节点(Leader: 0)
在其所有副本(分布在0和1上)中,处于同步着的状态副本是0和1(Isr: 0,1)
假设此时broker 0宕机了,那么应该看到的信息会是
Topic: dcs_storm_collect_info_ios       Partition: 0    Leader: 1       Replicas: 1   Isr: 1

如果发现以下现象说明kafka异常:

  1. 某个topic的每个分区,同步副本数量和设定的副本数量不一致
  2. 某个topic的每个分区,leader的id数值是-1或者none