2023年7月17日发(作者：)

SpringBoot+Kafka+ELK收集⽇志搭建可视化框架—02.搭建Kafka集群SpringBoot+Kafka+ELK收集⽇志搭建可视化框架—02.搭建Kafka集群准备搭建所需压缩包：-2.11准备搭建集群的三台服务器三台服务器：192.168.133.167192.168.133.168192.168.133.1691.安装jdk解压jdk[root@localhost opt]# tar -zxvf

[root@localhost opt]# lltotal 209100drwxr-xr-x. 8 10 143 255 Mar 28 2018 jdk1.8.0_171-rw-r--r--. 1 root root 214117177 Jul 10 2020 [root@localhost opt]#

修改 /etc/profile⽂件末尾添加以下⼏句[root@localhost ~]# vi /etc/profileexport JAVA_HOME=/opt/jdk1.8.0_171/export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/export PATH=$PATH:$JAVA_HOME/bin#保存退出后，刷新配置⽂件 查看jdk版本[root@localhost opt]# source /etc/profile

[root@localhost opt]# java -versionjava version "1.8.0_171"Java(TM) SE Runtime Environment (build 1.8.0_171-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)2.安装zookeeper集群kafka是依赖于zookeeper注册中⼼的⼀款分布式消息对列，所以需要有zookeeper单机或者集群环境。⼀般不建议直接使⽤ Kafka ⾃带的Zookeeper 建⽴ zk 集群，这⾥我们使⽤独⽴的 zk 集群。下载zookeeper分别上传到三台主机，下⾯配置192.168.133.167主机： /apache/zookeeper/本⽂使⽤的是/apache/zookeeper/zookeeper-3.4.10/上传zookeeper-3.4.10到/opt⽬录，使⽤如下命令解压⽂件。 #解压⽂件[root@localhost opt]# tar -zxvf #重命名[root@localhost opt]# mv zookeeper-3.4.10 zookeeper进⼊⽬录创建两个⽂件夹存放快照⽇志和事物⽇志[root@localhost zookeeper]#mkdir data datalog

[root@localhost zookeeper]#mkdir修改配置⽂件进⼊conf⽬录[root@localhost zookeeper]# cd conf复制⼀份默认的zoo_⽂件修改⽂件名为[root@localhost conf]# cp zoo_ 接下来修改 ⽂件添加如下图所⽰：[root@localhost conf]# vi

#tickTime：是 Zookeeper 服务器之间或客户端与服务器之间维持⼼跳的时间间隔，每个 tickTime 时间就会发送⼀个⼼跳。。#initLimit：⽤来配置 Zookeeper 接受客户端（Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器集群中只会有⼀个Leader，Follower 会有多个）初始化连接时最长能忍受多少个⼼跳时间间隔数。当已经超过5个⼼跳的时间（也就是 tickTime）长度后 Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 52000=10 秒。#syncLimit：⽤来标识 Leader 与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是52000=10秒#dataDir：快照⽇志的存储路径。#dataLogDir：事物⽇志的存储路径，如果不配置这个那么事物⽇志会默认存储到dataDir制定的⽬录，当zk吞吐量较⼤的时候，产⽣的事物⽇志、快照⽇志太多会严重影响zk的性能。#clientPort：是客户端连接 Zookeeper 服务器的端⼝，Zookeeper 会监听这个端⼝，接受客户端的访问请求。进⼊创建的data⽬录下创建myid⽂件[root@localhost conf]# cd ../data[root@localhost data]# vi myid

内容为1

#后⾯的168和169机器myid⽂件内容改为 2 和3配置192.168.133.168和192.168.133.169主机步骤同上：启动Zk服务#进⼊到zookeeper的bin⽬录下#启动服务./ start#启动成功后的信息：ZooKeeper JMX enabled by defaultUsing config: /opt/zookeeper/bin/ ../conf/rting zookeeper ... STARTED#检查服务器状态./ status#下⾯的状态为启动成功。ZooKeeper JMX enabled by defaultUsing config: /opt/zookeeper/bin/ ../conf/e: follower

#Mode有两种类型：leader和follower，leader代表领导(主节点)，follower代表下属(备节点)#zk集群⼀般只有⼀个leader，follower有多个，主⼀般是相应客户端的读写请求，⽽从主同步数据，当主挂掉之后就会从follower⾥投票选举⼀个leader出来。此时zookeeper集群就成功搭建完成了，下⾯开始搭建kafka集群。3. 安装Kafka上传压缩⽂件到/opt⽬录下使⽤以下命令进⾏解压tar -zxvf kafka_修改解压后的⽂件夹名字mv kafka_2.11-1.0.0 kafka进⼊该⽂件夹 创建kafka消息⽬录mkdir kafkalogs接下来修改kafka配置⽂件#进⼊到config⽬录cd /opt/kafka/config/可以看到此⽬录下有关于zookeeper的⼀些⽂件,这是kafka内置的zookeeper集群,可以使⽤它来直接启动，但建议使⽤独⽴的zookeeper集群。修改 ties⼀下⼏项=1 #后⾯的每台服务器在上⾯需要修改⼀下 依次为 1 、2 、3listeners=PLAINTEXT://192.168.133.167:9092 #后⾯的机器修改为各⾃的=/opt/kafka/t=192.168.133.167:2182,192.168.133.168:2183,192.168.133.167:2184 #zk集群地址配置192.168.133.168和192.168.133.169主机步骤同上：此时Kafka集群就成功搭建完成了，启动Kafka集群并测试。#从启动Kafka集群（3台都需要启动）#分别进⼊三台主机的kafka的根⽬录

cd /opt/kafka#启动服务./bin/ -daemon /opt/kafka/config/ties

# 启动命令中的 -daemon 表⽰以守护进程的⽅式启动.测试kafka创建主题:#创建⼀个kafak_test主题，分区数为3,备份数为3#在kafka根⽬录执⾏下⾯命令./bin/ --create --zookeeper 192.168.133.167:2182 --replication-factor 3 --partitions 3 --topic kafak_test启动⽣产者:#kafka根⽬录执⾏，启动⼀个⽣产者./bin/ --broker-list 192.168.133.167:9092 --topic kafak_test不要关闭⽣产者窗⼝，再打开⼀个新窗⼝，进⼊到kafka根⽬录，启动消费者:#启动消费者./bin/ --bootstrap-server 192.168.133.167:9092,192.168.133.168:9092,192.168.133.169:9092 --topic test --from-beginning在⽣产者窗⼝随意发送⼀条消息，查看消费者是否接收成功。