本文以容器CPU使用率告警为例演示当Pod出现告警后,如何通过Pod上的标签进行告警分发。
背景信息
Kubernetes提供了非常轻巧灵活的标签机制实现多维度的资源分组管理功能,在实际的使用中我们通常会给应用打上各种标签,例如env:prod
代表应用是生产环境,service:iam
代表应用提供IAM服务。通过这些标签我们可以从各个维度来进行管理,如查看生产环境的应用列表,查看IAM服务的资源使用量。
ARMS告警管理可以通过Prometheus数据源对告警添加标签,当Pod出现告警后可以将Pod上的Labels作为标签添加到告警中,再通过通知策略实现按照任意标签分发告警。
原理
Prometheus中的kube-state-metrics提供了各个基础资源的标签指标,如kube_pod_labels、kube_node_labels等,记录了每个资源的标签。
在告警规则上配置特定的注释(_aliyun_arms_enrich_desc),注释内容是一个可执行的PromQL,在告警发生后告警引擎会通过查询这个PromQL,将查询出的标签添加到告警中。
配置注释内容为kube-state-metrics提供的标签指标对应的查询语句,对告警添加标签。
操作步骤
将Kubernetes集群接入阿里云Prometheus监控。具体操作,请参见Prometheus实例 for 容器服务。
在ACK中部署应用。
在容器服务管理控制台左侧导航栏单击集群,在集群列表页面上的目标集群右侧操作列单击应用管理。
在无状态页面的目标应用右侧选择 。
在编辑YAML对话框添加自定义Label为
app:arms-prom-ack-arms-prometheus
。单击更新。
创建Prometheus告警规则。
在ARMS控制台左侧导航栏,选择 。
在Prometheus告警规则页面的右上角单击创建Prometheus告警规则。
在创建Prometheus告警规则页面,设置告警名称为EnrichDemo,告警条件为
当容器CPU使用率大于2%时,满足告警条件。
参见Prometheus告警规则,设置其他告警参数,然后单击保存。
为告警添加标签。
在创建Prometheus告警规则页面单击高级设置右侧箭头,添加注释。
注释说明:
键:_aliyun_arms_enrich_desc。
值: 可执行的PromQL,支持通过
${xxx}
引用告警中的标签,此处示例为kube_pod_labels{pod_name=${pod_name}}
,示例中使用了${pod_name}
来引用Pod名称。
重要注释值的内容必须是可以执行的PromQL。
执行PromQL查询出的内容只能包含一条时间序列(timeseries)。
PromQL执行结果中查询出来的所有标签会被添加到告警中。
kube_pod_labels会对所有标签的Key添加
label_
前缀,因此在最终使用时需要手动添加这个前缀。当查询出来的结果超过10条时间线时,只能对前10条时间线富化标签。
配置通知策略。
在通知策略页面通过设置匹配告警事件规则为
label_app等于arms-prom-ack-arms-prometheus
订阅告警。具体操作,请参见通知策略。在告警发送历史页面查看告警信息。更多信息,请参见查看告警发送历史。