115 Kafka集群部署

1.集群部署的基本流程

下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

2.集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）

• 关闭防火墙

chkconfig iptables off  && setenforce 0

• 创建用户

groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime

• 创建工作目录并赋权

mkdir /export
mkdir /export/servers
chmod 755 -R /export

• 切换到realtime用户下

su realtime

3.Kafka集群部署

1、下载安装包 http://kafka.apache.org/downloads.html

在linux中使用wget命令下载安装包

wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

2、解压安装包

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -C /export/servers/
cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka

3、修改配置文件

cp   /export/servers/kafka/config/server.properties
/export/servers/kafka/config/server.properties.bak
vi  /export/servers/kafka/config/server.properties

输入以下内容： 4、分发安装包

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

然后分别在各机器上创建软连

cd /export/servers/
ln -s kafka_2.11-0.8.2.2 kafka

5、再次修改配置文件

依次修改各服务器上配置文件的的 broker.id，分别是0,1,2不得重复。

6、启动集群 依次在各节点上启动kafka

bin/kafka-server-start.sh  config/server.properties