Kafka Manager是专为Kafka设计的集群管理工具,提供了WebUI界面,允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI,并将集群添加至Kafka Manager的WebUI界面。
前提条件
已创建选择了Kafka服务的DataFlow集群,创建详情请参见创建集群。
当选择了Kafka服务,系统将默认安装Kafka Manager软件服务,并开启Kafka Manager的认证功能。
注意事项
使用Kafka Manager进行partition reassign功能时,当前版本的Kafka Manager是没有提供限流功能的。如果需要限流,您可以通过kafka-configs.sh手工配置限流参数,具体限流方式请参见限制Kafka服务端运维流量。
操作步骤
使用SSH隧道方式访问Web页面,详情请参见通过SSH隧道方式访问开源组件Web UI。
说明建议您首次使用Kafka Manager时修改默认密码。
为了防止8085端口暴露,建议使用SSH隧道方式来访问Web界面。如果使用http://localhost:8085方式访问Web界面,请做好IP白名单保护,避免数据泄露。
在登录页面,输入用户名和密码。
用户名、密码和Zookeeper地址,您可以通过以下步骤获取:
在顶部菜单栏处,根据实际情况选择地域和资源组。
在EMR on ECS页面,单击目标集群操作列的集群服务。
获取以下配置信息。
获取用户名和密码:
在集群服务页面,单击Kafka Manager服务区域的配置。
在配置页面,查看以下参数的值:
kafka.manager.authentication.username:登录Kafka Manager页面的用户名。
kafka.manager.authentication.password:登录Kafka Manager页面的密码。
获取集群的Zookeeper地址:
在集群服务页面,单击Kafka服务区域的配置。
在配置页面,查看server.properties页签下的zookeeper.connect的参数值,即集群的Zookeeper地址。
在Kafka Manager页面,选择
。在Add Cluster页面,配置以下参数,单击Save。
参数
描述
Cluster Name
集群名称。
Cluster Zookeeper Hosts
集群的Zookeeper地址。
填写在步骤2中获取到的zookeeper.connect的值。
Kafka Version
选择对应的Kafka版本。
说明由于Kafka Manager可能不支持高版本的Kafka,所以此参数值选择最接近的版本即可。
Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)
是否开启JMX功能。
本示例开启了JMX功能。
brokerViewThreadPoolSize
获取数据时的线程池大小。
重要修改参数值大于2。
创建好之后即可使用常见的Kafka功能。