kafka环境搭建1-单机版

96
heichong
2016.05.10 09:58* 字数 510

kafka是基于scala语言开发,所以需要java运行环境,下载前请先确认是否已经安装并配置java环境

下载安装

  • 下载 最新版的kafka软件
wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
  • 解压缩
tar -xzf kafka_2.11-0.9.0.0.tgz

启动

首先要进入kafka目录

  • 启动zookeeper server(kafka自带的zookeeper)
bin/zookeeper-server-start.sh config/zookeeper.properties &

注意 & 号的使用:命令结尾添加 & 号,可以在执行完命令后退出当前命令环境却不会结束进程

  • 启动kafka server
bin/kafka-server-start.sh config/server.properties & 

创建主题

kafka生产和消费数据,必须基于主题topic。主题其实就是对消息的分类。

  • 创建主题:名称为“test”、复制数目为1、partitions为1的topic主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

replication-factor复制数目,提供failover机制;1代表只在一个broker上有数据记录,一般值都大于1,代表一份数据会自动同步到其他的多个broker,防止某个broker宕机后数据丢失。
partitions一个topic可以被切分成多个partitions,一个消费者可以消费多个partitions,但一个partitions只能被一个消费者消费,所以增加partitions可以增加消费者的吞吐量。kafka只保证一个partitions内的消息是有序的,多个一个partitions之间的数据是无序的。

  • 查看已经创建的主题
bin/kafka-topics.sh --list --zookeeper localhost:2181

启动生产者和消费者

生产者产生(输入)数据,消费者消费(输出)数据

  • 启动生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动后,在命令行下每输入一些字符串按下回车时,就作为一个消息并发送的kafka

  • 启动消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

启动消费者时,建议另开一个ssh窗口,方便一遍通过生产者命令行输入消息,一遍观察消费者消费的数据

当在生产者下输入消息并回车后,在消费者窗口下就能立即看到对应的消息,这就说明环境搭建成功。

kafka
Web note ad 1