微信公众号：大数据开发运维架构
关注可了解更多大数据相关的资讯。问题或建议，请公众号留言;
如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈
从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读
Kafka集群安装需要用的JDK、Scala等组件的支撑，由于安装比较简单，我这里不在讲解，只简单列一下我这里用到的软件版本：
版本信息：
操作系统 ：CentOS Linux release 7.2.1511 (Core)
JDK： java version "1.8.0_112"
scala：Scala code runner version 2.12.8
Kafka_2.12-2.4.0安装包下载：
官网Kafka各个版本下载地址：
https://mirrors.cnnic.cn/apache/kafka/2.4.0/
我这里下载的是：
https://mirrors.cnnic.cn/apache/kafka/2.4.0/kafka_2.12-2.4.0.tgz
集群节点信息：
192.168.1.31 salver31.hadoop.ljsbroker1节点
192.168.1.32salver32.hadoop.ljsbroker1节点
集群安装步骤：
1.首先关闭防火墙，并置为开机自动关闭（两个节点都做）
#关闭防火墙systemctlstopfirewalld.service
#永久关闭systemctldisablefirewalld.service
2.在文件/etc/hosts中配置主机名（两个节点都做）
192.168.1.31salver31.hadoop.ljssalver31
192.168.1.32salver32.hadoop.ljssalver32
3.创建用户和用户组kafka:hadoop，指定home路径：/home/kafka，并设置密码（两个节点都做）：
[root@salver31~]# groupadd kafka
[root@salver31~]# useradd -d /home/kafka -g hadoop -m kafka
[root@salver31~]#passwd kafka
4.安装JDK、Scala，zookeeper，请自行百度；
5.切换到kafka用户，上传并解压安装包kafka_2.12-2.4.0.tgz
[kafka@salver31~]#tar -zxvf kafka_2.12-2.4.0.tgz -C /home/kafka/
6.修改配置文件server.properties：
broker.id=31//集群broker节点的唯一id,只要不重复可自定义
host.name=192.168.1.31
listeners = PLAINTEXT://salver31:9092 //监听listeners端口9092
log.dirs=/home/kafka/kafkaData//kafka数据本地存储目录
num.partitions=1//新建Topic的默认Partition数量,这里有两个节点zookeeper.connect=salver158:2181,salver31:2181,salver32:2181/kafka240//指定zookeeper根znode为kafka240
7.将kafka整个安装目录拷贝到slaver32节点，配置server.properties:
broker.id=32//集群broker节点的唯一id,只要不重复可自定义
host.name=192.168.1.32
listeners = PLAINTEXT://salver32:9092 //监听listeners端口9092
log.dirs=/home/kafka/kafkaData//kafka数据本地存储目录
num.partitions=1//新建Topic的默认Partition数量,这里有两个节点zookeeper.connect=salver158:2181,salver31:2181,salver32:2181/kafka240//指定zookeeper根znode为kafka240
8.至此kafka就配置完毕，可在两个节点执行一下命令，启动集群：
/home/kafka/kafka_2.12-2.4.0/bin/kafka-server-start.sh
/home/kafka/kafka_2.12-2.4.0/config/server.properties &
9.kafka常用命令请参考我的另外一篇文章：Kafka精通：史上最详细原理总结(转载:必看，必看，必看)
下一篇文章我会详细讲解kafka的SSL加密和认证，敬请期待！！！
这里有server.properties的其他参数配置的一些解释，生产上需要根据自身的需求修改：
1.num.network.threads=3 #这个是borker进行网络处理的线程数
2.num.io.threads=8 #这个是borker进行I/O处理的线程数
3.socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
4.socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
5.socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
6.num.partitions=1 #默认的分区数，一个topic默认1个分区数
7.log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
8.message.max.byte=5242880 #消息保存的最大值5M
9.default.replication.factor=2 #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
10.replica.fetch.max.bytes=5242880 #取消息的最大字节数
11.log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
12.log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
13.log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
