Kafka 集群部署教程

Kafka部署需要Java环境，可以使用CentOS自带的或者自己重新安装新版本
首先准备好安装包，官网下载地址：
http://kafka.apache.org/downloads
我这里下载的2.8.0的版本，目前为止最新的版本，一共三台服务器，依次上传上去并解压

1	tar -zxvf kafka_2.12-2.8.0.tgz

解压之后，可以看到下面的内容
然后先建立zookeeper集群，我这里使用的是kafka自带的，修改config目录下的zookeeper.properties文件

#自定义的zookeeper数据目录
dataDir=/opt/module/kafka_2.12-2.8.0/zkdata
#端口
clientPort=2181
maxClientCnxns=10
#zk的基本时间单元，毫秒
tickTime=2000
#Leader-Follower初始通信时限 tickTime*10
initLimit=10
#Leader-Follower同步通信时限 tickTime*5
syncLimit=5
#自定义的zookeeper日志目录
dataLogDir=/opt/module/kafka_2.12-2.8.0/zklog
admin.enableServer=false
#broker Id的服务地址
server.1=192.168.44.131:2888:3888
server.2=192.168.44.132:2888:3888
server.3=192.168.44.133:2888:3888

1 2	mkdir zkdata mkdir zklog

在zookeeper数据目录下添加myid文件（内容需和zookeeper.properties文件中的server.x一致）
依次修改kafka配置，config下的server.properties文件（每台服务器除broker.id 和本机ip 两个属性需要修改之外，其他属性保持一致）

# broker 的全局唯一编号，不能重复
broker.id=1
# 配置监听,修改为本机ip
listeners=PLAINTEXT://192.168.44.131:9092
# 处理网络请求的线程数量，默认
num.network.threads=3
# 处理磁盘IO的线程数量，默认
num.io.threads=8
# 发送套接字的缓冲区大小，默认
socket.send.buffer.bytes=102400
# 接收套接字的缓冲区大小，默认
socket.receive.buffer.bytes=102400
# 请求套接字的缓冲区大小，默认
socket.request.max.bytes=104857600
# kafka 运行日志存放路径
log.dirs=/opt/module/kafka_2.12-2.8.0/kafka
# topic 在当前broker上的分片个数，与broker保持一致
num.partitions=1
# 允许删除topic
delete.topic.enable=true
# 用来恢复和清理data下数据的线程数量，默认
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# segment文件保留的最长时间，超时将被删除，默认
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# 配置三台服务zookeeper连接地址
zookeeper.connect=192.168.44.131:2181,192.168.44.132:2181,192.168.44.133:2181
zookeeper.connection.timeout.ms=30000
group.initial.rebalance.delay.ms=0