ambari 安装集群下安装 kafka manager

一、启动 kafka 的 JMX 端口的访问
至于 JMX 是什么,可以自己百度一下。启动 JMX 主要是为了 kafka manger 可以通过 JMX 端口来监听 kafka 的状态等。kafka 启动的时候是没有启动 JMX 的,所以需要去修改 kafka 的启动脚本,来使 kafka 启动的时候启动 JMX。

分别登录 kafka 节点 node187 node195 node196,执行以下操作

[root@master ~]# cd /usr/hdp/current/kafka-broker/bin/
[root@master ~]# vi kafka-server-start.sh
#添加下面标红的代码到指定位置 添加 export JMX_PORT="9999"  
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then  
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  
    export JMX_PORT="9999"  
fi  

上面的操作需要在三台 kafka 集群上都要操作,修改完以后登录Ambari通过页面,重启所有的 kafka 集群。然后确定三个节点上查看 9999 端口是否启用

[root@master bin]# netstat -anp|grep 9999

二、安装 kafka manager
登录 master 节点操作
1、安装 sbt 编译环境

[root@master ~]# curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo
[root@master ~]# yum install sbt

2、下载 kafka-manager

访问网址https://github.com/yahoo/kafka-manager/releases 下载最新版的 kafka-manager,然后解压、编译。

[root@slave3 ~]# cd kafka-manager-1.3.3.17
[root@slave3 kafka-manager-1.3.3.17]# sbt clean dist

编译完以后,生成的包会在 kafka-manager/target/universal 下面。生成的包只需要 java 环境就可以运行了,在部署的机器上不需要安装 sbt。

3、复制编译好的压缩包, 在需要部署的 kafka 机器上解压即可

[root@slave3 kafka-manager-1.3.3.17]# cp target/universal/kafka-manager-1.3.3.17.zip /usr/hdp/2.6.3.0-235/
[root@slave3 kafka-manager-1.3.3.17]# cd /usr/hdp/2.6.3.0-235/
[root@slave3 2.6.3.0-235]# unzip kafka-manager-1.3.3.17.zip

4、修改 application.conf, 把 kafka-manager.zkhosts 改为自己的 zookeeper 服务器地址

[root@slave3 2.6.3.0-235]# cd kafka-manager-1.3.3.17
[root@slave3 kafka-manager-1.3.3.17]# vi conf/application.conf
#修改的代码
kafka-manager.zkhosts="master:2181,node187:2181"

5、启动

[root@slave3 kafka-manager-1.3.3.17]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf &
默认 http 端口是 9000,可以通过命令行参数传递:./kafka-manager -Dhttp.port=9001

6、访问

访问地址 http://master:9000

创建 kafka 集群的名称,点击 Add Cluster 来进行创建,cluster name 为 kafka 集群的别名自定义,zookeeper hosts 填写 master:2181,node187:2181/kafka。kafka version 选择 ambari 版本里面相应的 kafka 版本。勾选具体配置是除开 JMX with SSL 不勾选,其余的全部勾选。

2019/06/image-17a35323.png