Kafka接入

可观测监控 Prometheus 版可通过配置接入参数主动拉取Kafka的性能指标,实现对其运行状况的实时监控和数据分析。

前提条件

容器服务环境

ECS(VPC)

接入Kafka

  1. 登录Prometheus控制台,在左侧导航栏单击接入中心

  2. 单击Kafka卡片,然后根据控制台指引完成组件接入。下面对重点配置项进行说明。

    容器服务环境

    配置项

    说明

    Pod 选择标签

    部署JMX Agent时,为Pod配置的标签和标签值,可观测监控 Prometheus 版通过此标签进行服务发现(Service Discovery)。详细信息,请参见如何部署和配置Kafka JMX Agent

    Metric 采集间隔

    监控数据采集时间间隔,默认15s。

    ECS(VPC)

    配置项

    说明

    Kafka 集群名称

    每次接入,需使用不同的集群名称,以防止指标重复采集导致大盘展示错误。

    服务地址

    可以使用Kafka Broker的IP或DNS地址,多个Broker地址之间使用英文半角逗号或分号来分隔。

    如:192.168.0.1:9092,10.0.11.123:9092

    开启 SASL

    选择Kafka服务端是否使用SASL。

    SASL 用户名

    如果开启SASL,则需要填写对应的用户名。

    SASL 密码

    如果开启SASL,则需要填写对应的用户密码。

    SASL 方法

    选择SASL方法,目前支持plain、scram-sha512和scram-sha256。

    开启 TLS

    选择Kafka服务端是否使用TLS。

    忽略 TLS 安全校验

    如果Kafka服务端开启TLS,且是自签名证书,则选择忽略TLS安全校验。

    Metric 采集间隔

    监控数据采集时间间隔,默认15s。

    自定义标签

    通过自定义标签向Prometheus收集的指标中添加自定义键值对标签,便于在使用Grafana等工具时对这些指标进行细粒度的组织、查询、监控和分析。更多信息,请参见VPC环境主机监控自定义标签注入指标

    说明
    • 标签名不能包含特殊字符,如短划线(-)、半角句号(.)、百分号(%)等,这些字符在Prometheus中有特殊含义。

    • 注入的标签需要是Prometheus允许的有效的Key-Value标签格式。

查看Kafka组件状态

已接入的组件可单击Prometheus控制台左侧导航栏中的接入管理查看。接入管理页面包括已接入环境已接入组件大盘查询页签,您可以查看Targets、指标、大盘、告警等信息。

Targets

您可以在该页签查看集成默认Job发现的Targets列表。

85.jpg

指标采集

您可以在该页签查看具体的指标信息并对指标进行废弃配置。具体操作,请参见配置废弃指标

84.jpg

大盘列表

您可以单击大盘名称,查看对应Grafana大盘。

83.jpg

82.jpg81.jpg

相关文档