使用Prometheus Exporter监控Kafka客户端

Kafka客户端默认提供了丰富的监控指标,可以帮助您及时发现一些非预期的问题,比如网络连接、发送延迟、消费堆积等问题。本文为您介绍如何将JMX Exporter采集到的数据接入到阿里云可观测监控 Prometheus 版,并在可观测可视化 Grafana 版进行可视化查看。

前提条件

操作步骤

步骤一:配置客户端

  1. 登录ECS实例后,执行以下命令,下载JMX Exporter。

    wget https://arms-public.oss-cn-shanghai.aliyuncs.com/Prom/agent/kafka-jmx_prometheus_javaagent-1.18.1.jar
  2. 执行以下命令,启动客户端。

    说明

    命令中的路径和jar包需要按照实际情况进行替换。

    java -javaagent:/path/to/kafka-jmx_prometheus_javaagent-1.18.1.jar=5556 -jar your-kafka-client.jar
  3. 执行以下命令,查看导出的指标。

    curl http://localhost:5556/metrics

    image

步骤二:配置Prometheus

  1. 登录ARMS控制台,在左侧导航栏单击接入中心

  2. 接入中心页面,单击基础设施页签,在基础设施区域选择自定义指标采集

    image

  3. 自定义指标采集面板的开始接入页签,填写相应的信息,然后单击确定

    image

  4. 接入完成后,在左侧导航栏单击接入管理

  5. 接入管理页面的已接入环境页签中,选择ECS环境

  6. ECS环境列表中,单击目标环境名称进入ECS环境详情页面。

  7. 自监控页签,即可查看是否成功接入(数据有延迟,需要稍等一会)。

    image

步骤三:配置Grafana大盘

  1. 登录ARMS控制台,在左侧导航栏选择Grafana服务 > 工作区管理

  2. 工作区管理页面,单击已创建好的工作区ID,在工作区信息页面查看详细信息。

    image

    说明

    云服务集成区域中列表里的目标服务为未集成状态,则需要单击其操作列的集成,进行集成操作。

  3. 基本信息区域,单击公网地址后的链接进入Grafana。

    说明

    Grafana登录页面,您可以使用Admin账号和创建工作区时设置的Admin密码登录Grafana,也可以单击Sign in with Alibaba Cloud直接使用当前阿里云账号登录Grafana。

  4. Grafana首页,单击页面左上角的image图标。

  5. Grafana左侧导航栏,单击仪表板

  6. 仪表板页面选择新建 > 导入,在Import dashboard页面使用Grafana仪表板配置.json导入仪表盘。

  7. 导入成功后,监控数据大盘展示如下:

    image

指标信息