Kafka客户端默认提供了丰富的监控指标,可以帮助您及时发现一些非预期的问题,比如网络连接、发送延迟、消费堆积等问题。本文为您介绍如何将JMX Exporter采集到的数据接入到阿里云可观测监控 Prometheus 版,并在可观测可视化 Grafana 版进行可视化查看。
前提条件
已开通可观测监控 Prometheus 版,具体操作,请参见开通方式。
已创建Grafana工作区,本文以Grafana 10.0.x版本为例。
已创建用于执行业务的ECS实例,具体操作,请参见通过控制台使用ECS实例(快捷版)。
重要ECS实例需要安装JDK,具体版本应根据实际业务需求确定。JDK版本信息,请参见
操作步骤
步骤一:配置客户端
登录ECS实例后,执行以下命令,下载JMX Exporter。
wget https://arms-public.oss-cn-shanghai.aliyuncs.com/Prom/agent/kafka-jmx_prometheus_javaagent-1.18.1.jar
执行以下命令,启动客户端。
说明命令中的路径和jar包需要按照实际情况进行替换。
java -javaagent:/path/to/kafka-jmx_prometheus_javaagent-1.18.1.jar=5556 -jar your-kafka-client.jar
执行以下命令,查看导出的指标。
curl http://localhost:5556/metrics
步骤二:配置Prometheus
登录ARMS控制台,在左侧导航栏单击接入中心。
在接入中心页面,单击基础设施页签,在基础设施区域选择自定义指标采集。
在自定义指标采集面板的开始接入页签,填写相应的信息,然后单击确定。
接入完成后,在左侧导航栏单击接入管理。
在接入管理页面的已接入环境页签中,选择ECS环境。
在ECS环境列表中,单击目标环境名称进入ECS环境详情页面。
在自监控页签,即可查看是否成功接入(数据有延迟,需要稍等一会)。
步骤三:配置Grafana大盘
登录ARMS控制台,在左侧导航栏选择 。
在工作区管理页面,单击已创建好的工作区ID,在工作区信息页面查看详细信息。
说明若云服务集成区域中列表里的目标服务为未集成状态,则需要单击其操作列的集成,进行集成操作。
在基本信息区域,单击公网地址后的链接进入Grafana。
说明在Grafana登录页面,您可以使用Admin账号和创建工作区时设置的Admin密码登录Grafana,也可以单击Sign in with Alibaba Cloud直接使用当前阿里云账号登录Grafana。
在Grafana首页,单击页面左上角的图标。
在Grafana左侧导航栏,单击仪表板。
在仪表板页面选择Grafana仪表板配置.json导入仪表盘。
,在Import dashboard页面使用导入成功后,监控数据大盘展示如下: