通过设置通知策略,您可以制定针对告警事件的分派条件。当分派条件被触发时,系统会以您指定的通知方式向处理人发送告警信息,以提醒处理人采取必要的问题解决措施。
前提条件
创建联系人,具体操作,请参见创建联系人。
新建通知策略
-
登录Prometheus控制台,在左侧导航栏选择。
在通知策略页面单击新建通知策略。
在新建通知策略页面顶部设置通知策略名称。
在匹配规则区域设置告警事件的匹配规则。
重要静默策略优先于通知策略,即已被静默策略匹配到的告警事件将会被静默,无法再进行通知策略的事件匹配。创建静默策略的操作,请参见静默策略。
选择数据来源。
指定来源:通知策略会针对指定来源(集成)的告警事件进行匹配规则过滤并发送通知。
无预设来源:通知策略会针对所有告警事件进行匹配规则过滤并发送通知。
设置匹配规则表达式,您可以自定义标签或选择已有的标签。
已有的标签包括:
告警规则表达式指标中携带的标签。可观测监控 Prometheus 版告警规则创建标签的操作,请参见创建Prometheus告警规则。
ARMS系统自带的默认标签,默认标签说明如下。
分类
标签
说明
常用字段
alertname
告警名称。
clustername
集群名称。
severity
告警等级:
P1
P2
P3
P4
默认
namespace
命名空间。
pod_name
系统预置字段
_aliyun_arms_integration_name
集成名称,ARMS默认上报的告警集成名称为ARMS-DEFAULT。
_aliyun_arms_involvedObject_id
告警对象ID。
_aliyun_arms_involvedObject_name
告警对象名称。
_aliyun_arms_region_id
地域ID。
_aliyun_arms_alert_rule_id
告警规则ID。
_aliyun_arms_alert_type
告警规则类型:
101:Prometheus告警
5:应用监控告警
4:前端监控告警
其他字段
_arms_contact_group_v2_id
告警通知联系人组 ID (v2)。ARMS 系统会自动添加到告警事件标签中。值对应控制台 通知对象 中联系人组的 v2 标识。使用 ACK 集成创建通知策略时,系统会自动使用此标签匹配,无需手动设置。与 API SearchAlertContactGroup 返回的 ContactGroupId (v1) 不同,两者可能指向同一联系人组。该标签在 Webhook 通知 payload 的 commonLabels 字段中可见。
标签显示行为说明:告警事件分析页面中显示的标签字段来源于触发告警的规则指标标签及系统预设字段。不同告警事件携带的标签字段可能不同,因为不同告警规则关联的指标和资源类型不同。未携带某字段的事件不会显示该标签,因此某些标签可能有时出现有时不出现,这是正常行为。例如:当告警涉及 Pod 资源时,事件会携带
pod_name标签;不涉及 Pod 的告警则不会显示该标签。说明如果需同时满足多个匹配规则才告警,则单击添加条件编辑第二条匹配规则条件。
如果需满足任意一个匹配告警事件规则就告警,则单击添加规则编辑第二条匹配规则。
在配置通知策略并设置匹配规则时,需注意所有关联规则的描述内容总和不可超过 64KB,大约100条匹配规则(具体数量与实际规则的复杂度相关),如超过限制则会配置失败,此时为确保配置顺利完成,请重新创建一条通知策略关联更多的匹配规则。
说明告警规则与通知策略的关联机制说明如下:
自动匹配机制:如果通知策略中配置了集群级别或对象级别的匹配规则(例如,使用标签
_aliyun_arms_involvedObject_id匹配 K8s 集群 ID),则对应的告警规则无需单独指定通知策略,系统会自动基于维度进行匹配关联。批量关联场景:针对 ACK 自动创建的告警规则等批量场景,无需逐个编辑告警规则,只需在通知策略中通过标签匹配即可实现自动关联。
ACK 集群自动创建的告警规则会携带系统标签
_arms_contact_group_v2_id,标签值为联系人组 ID。通知策略通过该标签匹配规则,将告警通知路由到指定联系人组。标签值与 ARMS 控制台告警管理 > 通知对象 > 联系人组中的联系人组 ID 对应。该标签由系统自动生成,无需手动添加。单击下一步。
在事件分组区域,设置告警事件是否需要分组,然后单击下一步。
不需要分组:所有告警事件会以一条告警信息发送给处理人。
设置分组字段:字段内容相同的告警事件会汇总到同一告警发送通知。
在通知对象区域,设置以下参数。
单击+添加通知对象选择通知对象。
通知对象类型:
联系人:选择具体联系人后还需选择使用电话、短信或邮件的通知方式。
联系人组:选择具体联系人组后还需选择使用电话、短信或邮件的通知方式。
排班:选择具体排班后还需选择使用电话、短信或邮件的通知方式。
钉钉/飞书/企微:通过钉钉、飞书或企业微信发送告警通知。
通用Webhook:通过Webhook发送告警通知。
Microsoft Teams Webhook 集成:如需将告警通知推送到 Microsoft Teams 频道,先在 Teams 中创建 Incoming Webhook,再在 ARMS 中创建对应的 Webhook 通知对象,并在通知策略中选择该通知对象。具体操作如下:
在 Microsoft Teams 中创建 Incoming Webhook。进入 Teams 频道的设置 > 连接器,配置 Incoming Webhook,输入名称并创建,然后复制生成的 Webhook URL。
在 ARMS 控制台创建 Webhook 通知对象。进入告警管理 > 通知对象,切换到Webhook集成页签,单击新建Webhook。填写 Webhook 名称,在URL字段粘贴上一步复制的 Teams Incoming Webhook URL,然后单击自动填充模板生成与 Teams 兼容的消息模板。更多操作说明,请参见告警通知对象。
在通知策略中选择该 Webhook 通知对象。新建或编辑通知策略时,在通知对象步骤单击+添加通知对象,通知对象类型选择通用Webhook,然后选择已创建的 Webhook 通知对象。
验证告警通知。在新建 Webhook 对话框中单击发送测试,确认 Teams 频道已收到测试消息。
选择告警恢复后是否发送恢复通知。
发送恢复通知:当告警下面全部事件都恢复时,告警状态是否自动恢复为已解决。当告警恢复时,系统将会发送通知给告警处理人。
设置通知模板,更多信息,请参见配置通知模板和Webhook模板。
设置通知时段,告警会在设置的通知时段内发送告警通知。
可选:选择告警需要推送到的工单系统。集成工单系统的操作,请参见集成。
单击下一步。
在重复/升级/恢复策略区域,设置告警是否需要重复通知、使用升级策略或开启手动恢复。然后单击下一步。
不需要升级策略,告警未恢复状态下只发送一次。
重复通知:设置重复频率。当告警未恢复时,告警会以设置的重复频率循环发送告警信息直至告警恢复。
升级策略:选择升级策略,告警未恢复状态下,告警通知将会根据升级策略发送通知给其他通知对象。
手动恢复:如果开启手动恢复,当告警事件在告警集成中设置的自动恢复时间内都没有再触发,告警不会自动恢复,必须人工干预调整状态。
在行动集成区域,设置告警是否开启行动集成自动执行。
如果开启行动集成自动执行,告警发生时将根据设定的时机自动化执行指定的行动集成,您需要选择告警触发和恢复时的行动集成。
设置完成后,单击保存。
管理通知策略
通知策略新建完成后会显示在通知策略页面中,您可以在通知策略页面执行以下操作:
编辑通知策略:单击通知策略名称或右侧操作列的编辑,修改通知策略后单击保存。
启用或停用通知策略:在通知策略右侧状态列打开或关闭状态开关。
删除通知策略:单击通知策略右侧操作列的删除,在弹出的对话框中单击确认。
复制并生成一个相同的通知策略:单击通知策略右侧操作列的复制。