ARMS告警管理(ITSM)

ARMS告警管理(ITSM)是一款开箱即用的智能告警服务,接收Prometheus等各类客户端发送的告警信息,通过自动去重、分组、算法降噪处理,按标签内容将告警发送至不同的通知对象,从而帮助运维团队降低项目风险。本文介绍如何在可观测可视化 Grafana 版中启用ARMS告警管理(ITSM)。

Grafana版本要求

9.0.x及以上版本的Grafana支持使用ARMS告警。升级Grafana版本的操作,请参见查看工作区信息

步骤一:启用ARMS告警

说明

9.0.x及以上版本的Grafana已默认启用ARMS告警。如果您之前在告警管理页面,关闭了集成的ARMS告警,需要执行该步骤重新启用ARMS告警。

  1. 登录可观测可视化 Grafana 版控制台,在左侧导航栏单击工作区管理

  2. 工作区管理页面,单击目标工作区ID。

  3. 在左侧导航栏,单击告警管理,然后在页面左上角单击开启ARMS告警开关。

  4. 在弹出的对话框中单击确认

  5. 告警管理右上角单击管理告警,进入Grafana的ITSM页面。

步骤二:创建告警规则

Grafana 9.0.x版本

  1. 在Grafana左侧导航栏,选择image > Browse

  2. Browse页签,选择需要创建告警的监控大盘。

  3. 在大盘页面选择需要创建告警的面板,单击面板名称,然后单击Edit

  4. Edit Panel页面,单击Alert页签,然后单击Create alert rule from this panel

    说明

    您也可以在Grafana左侧导航栏选择image,在告警概览页面,单击创建告警规则进行告警规则的创建。

  5. 根据需求设置告警参数。具体操作,请参见Grafana官方文档

    您需要在Notifications区域输入自定义Labels的key和value,例如grafana_alertname=Pod磁盘使用率_hangzhou。在步骤四:创建通知策略时可以通过此处设置的标签匹配到当前告警规则。

    Grafana告警添加通知策略

  6. 告警规则创建完成后,单击右上角的Save

    当Grafana告警被触发时,告警事件会上报至ARMS告警管理的告警事件历史页面。更多信息,请参见查看告警事件历史

    说明

    告警事件历史页面,您可以设置集成名称为ARMS_GRAFANA筛选由Grafana告警规则上报的事件。

Grafana 10.0.x版本

  1. 在Grafana左上角,单击image,然后选择仪表板

  2. 仪表板页面,选择需要创建告警的监控大盘。

  3. 在大盘页面选择需要创建告警的面板,单击面板右上角图标,然后单击编辑

  4. Edit Panel页面,单击Alert页签,然后单击Create alert rule from this panel

    说明

    您也可以在Grafana左侧导航栏单击image,选择ITSM,在告警概览页面,单击创建告警规则进行告警规则的创建。

  5. 根据需求设置告警参数。具体操作,请参见Grafana官方文档

    您需要在Notifications区域输入自定义Labels的key和value,例如grafana_alertname=Pod磁盘使用率_hangzhou。在步骤四:创建通知策略时可以通过此处设置的标签匹配到当前告警规则。

    Grafana告警添加通知策略

  6. 告警规则创建完成后,单击右上角的Save rule

    当Grafana告警被触发时,告警事件会上报至ARMS告警管理的告警事件历史页面。更多信息,请参见查看告警事件历史

    说明

    告警事件历史页面,您可以设置集成名称为ARMS_GRAFANA,以筛选由Grafana告警规则上报的事件。

步骤三:创建通知对象

Grafana 9.0.x版本

在Grafana左侧导航栏,选择image > 通知对象,然后根据需求选择创建不同的通知对象。具体操作,请参见告警通知对象

  • 联系人或联系人组:适用于邮件、电话、短信通知场景。

  • 钉钉/飞书/企业微信:适用于团队协作群处理告警场景。

  • Webhook:适用于将告警推送到Pagerduty、Teams Incoming Webhook、企业内部平台等第三方通知对象。

  • 排班管理:适用于团队轮流处理告警的场景。

Grafana 10.0.x版本

在Grafana左上角,单击image,选择ITSM > 通知对象,然后根据需求选择创建不同的通知对象。具体操作,请参见告警通知对象

  • 联系人或联系人组:适用于邮件、电话、短信通知场景。

  • 钉钉/飞书/企业微信:适用于团队协作群处理告警场景。

  • Webhook:适用于将告警推送到Pagerduty、Teams Incoming Webhook、企业内部平台等第三方通知对象。

  • 排班管理:适用于团队轮流处理告警的场景。

步骤四:创建通知策略

Grafana 9.0.x版本

  1. 在Grafana左侧导航栏选择image > 通知策略,然后单击新建通知策略

  2. 新建通知策略页面左上角,设置通知策略名称。

  3. 匹配规则步骤设置告警事件的匹配规则。

    1. 选择数据来源Grafana

    2. 单击+添加条件,输入步骤二设置的Labels的key和value,例如:grafana_alertname等于Pod磁盘使用率_hangzhou

      说明

      条件2表示过滤集成为Grafana的告警规则,如果不添加条件3,则当前Grafana工作区的所有告警规则都会通过此通知策略进行分派。

      Grafana告警通知策略

    3. 单击下一步

  4. 根据需求设置其他参数,然后单击保存。具体操作,请参见通知策略

Grafana 10.0.x版本

  1. 在Grafana左上角,单击image,选择ITSM > 通知策略,然后单击新建通知策略

  2. 新建通知策略页面左上角,设置通知策略名称。

  3. 匹配规则步骤设置告警事件的匹配规则。

    1. 选择数据来源Grafana

    2. 单击+添加条件,输入步骤二设置的Labels的key和value,例如:grafana_alertname等于Pod磁盘使用率_hangzhou

      说明

      条件2表示过滤集成为Grafana的告警规则,如果不添加条件3,则当前Grafana工作区的所有告警规则都会通过此通知策略进行分派。

      Grafana告警通知策略

    3. 单击下一步

  4. 根据需求设置其他参数,然后单击保存。具体操作,请参见通知策略

步骤五:查看告警通知

当通知策略被触发时,收到的告警通知如下所示:

短信

Grafana短信告警

邮件

Grafana告警邮件

钉钉/飞书/企业微信

在钉钉/飞书/企业微信群中收到告警通知后,您可以直接在群中处理告警。具体操作,请参见在告警通知群中处理告警

相关文档

  • ARMS告警管理支持通过电话、短信、邮件、钉钉、企业微信、飞书和Webhook方式向通知对象发送告警通知,轻松应对各种告警处理场景。更多信息,请参见告警管理概述

  • ARMS告警管理计费规则,请参见计费说明