2023年2月28日
Kafka 集群部署
大数据 · Kafka
在三台服务器上部署 Kafka 集群，用于分布式计算。
上传tar包到/opt/softs
解压并配置环境变量：
先在master修改 等下分发到slave1 salve2
cd /opt/softs # 打开tar所在路径 tar -xvf kafka_2.12-2.4.1.tgz # 解压 mv kafka_2.12-2.4.1 /opt/module/ # 将解压出来的目录移动到 /opt/module vim /etc/profile # 写入以下内容 # Kafka export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1 export PATH=$PATH:$KAFKA_HOME/bin :wq # 保存退出 source /etc/profile # 刷新环境变量
cd /opt/softs # 打开tar所在路径 tar -xvf kafka_2.12-2.4.1.tgz # 解压 mv kafka_2.12-2.4.1 /opt/module/ # 将解压出来的目录移动到 /opt/module vim /etc/profile # 写入以下内容 # Kafka export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1 export PATH=$PATH:$KAFKA_HOME/bin :wq # 保存退出 source /etc/profile # 刷新环境变量
cd /opt/softs # 打开tar所在路径 tar -xvf kafka_2.12-2.4.1.tgz # 解压 mv kafka_2.12-2.4.1 /opt/module/ # 将解压出来的目录移动到 /opt/module vim /etc/profile # 写入以下内容 # Kafka export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1 export PATH=$PATH:$KAFKA_HOME/bin :wq # 保存退出 source /etc/profile # 刷新环境变量
修改配置文件
mkdir $KAFKA_HOME/log vim $KAFKA_HOME/config/server.properties broker.id=0 # 改为唯一ID log.dirs=$KAFKA_HOME/log # 日志存放位置 zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka # 设置zookeeper路径
mkdir $KAFKA_HOME/log vim $KAFKA_HOME/config/server.properties broker.id=0 # 改为唯一ID log.dirs=$KAFKA_HOME/log # 日志存放位置 zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka # 设置zookeeper路径
mkdir $KAFKA_HOME/log vim $KAFKA_HOME/config/server.properties broker.id=0 # 改为唯一ID log.dirs=$KAFKA_HOME/log # 日志存放位置 zookeeper.connect=master:2181,slave1:2181,slave2:2181/kafka # 设置zookeeper路径
分发
scp -r $KAFKA_HOME slave1:/opt/module scp -r $KAFKA_HOME slave2:/opt/module scp /etc/profile slave1:/etc/ scp /etc/profile slave2:/etc/
scp -r $KAFKA_HOME slave1:/opt/module scp -r $KAFKA_HOME slave2:/opt/module scp /etc/profile slave1:/etc/ scp /etc/profile slave2:/etc/
scp -r $KAFKA_HOME slave1:/opt/module scp -r $KAFKA_HOME slave2:/opt/module scp /etc/profile slave1:/etc/ scp /etc/profile slave2:/etc/
修改 broker.id
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=1
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=1
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=1
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=2
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=2
source /etc/profile vim $KAFKA_HOME/config/server.properties broker.id=2
