推送Grafana原生告警事件到ARMS告警

ARMS告警管理(ITSM)是一款开箱即用的智能告警服务,可以接收Prometheus等各类客户端发送的告警信息。您可以将Grafana原生告警事件上报至ARMS告警,通过自动去重、分组和算法降噪处理,按标签内容将告警事件发送至不同的通知对象,帮助运维团队降低项目风险。此外,ARMS告警管理还提供多种通知方式,包括电话、短信、邮件、钉钉、企业微信、飞书和Webhook,轻松应对各种告警处理场景。

告警参数要求

确认目标工作区参数设置页面中的告警参数配置如下:

  • 参数unified_alerting设置为true

  • 参数alerting设置为true

8.2.x及以下版本

步骤一:登录Grafana

  1. 登录可观测可视化 Grafana 版控制台,在左侧导航栏单击工作区管理

  2. 工作区管理页面,单击目标工作区右侧的访问地址URL链接进入Grafana。

    说明

    如果需要登录Grafana,可以使用Grafana的Admin账号和创建工作区时设置的密码登录Grafana,或单击Sign in with Alibaba Cloud直接使用当前购买工作区的阿里云账号登录Grafana。

步骤二:创建通知渠道

首先检查是否有名称为ARMS_GRAFANA的通知渠道。如果有,请跳过此步骤;如果没有,则创建通知渠道。

  1. 在Grafana左侧导航栏,选择image > Notification channels

  2. Notification channels页签,单击New channel,创建告警通知渠道(Notification channel)。

    image.png

    配置项

    说明

    Name

    名称为ARMS_GRAFANA。

    Type

    类型选择webhook

    Url

    ARMS集成Grafana告警的集成地址。创建Grafana集成并获取集成地址,请参见集成Grafana告警

步骤三:创建Grafana告警规则

  1. 在Grafana左侧导航栏,选择image.png > Manage

  2. Manage页签,单击需要创建告警的监控大盘。

  3. 在大盘页面选择需要创建告警的面板,单击面板名称右侧的截屏2024-01-22 15.54.47_副本.png图标,然后单击Edit

  4. Edit Panel页面,单击Alert,然后单击Create Alert

  5. 根据需求设置其他告警参数。具体操作,请参见Grafana官方文档配置Grafana原生告警规则

    Notifications区域,单击Send to右侧的image图标,然后选择名称为ARMS_GRAFANA的告警通知渠道。

    image

  6. 告警创建完成后,单击Edit Panel页面右上角的Save

    当Grafana告警被触发时,告警事件将会上报至ARMS的告警管理 > 告警事件历史页面。更多信息,请参见查看告警事件历史

步骤四:创建通知策略

可观测可视化 Grafana 版默认创建了对应的通知策略,您需要在通知策略中配置通知人信息才能接收Grafana告警通知。

  1. 登录ARMS控制台,在左侧导航栏选择告警管理 > 通知策略
  2. 通知策略列表中,选择名称为ARMS_GRAFANA的通知策略,单击操作列的编辑。如果没有ARMS_GRAFANA通知策略,请先创建。具体操作,请参见新建通知策略

  3. 编辑通知策略面板,单击通知对象页签。在通知对象页签,完成以下配置。具体操作,请参见通知策略

    1. 当告警生成时区域,单击添加通知对象,选择告警通知人和通知方式。

      配置项

      说明

      通知对象

      通知人支持设置联系人、联系人组、排班表、钉钉、飞书、企业微信或Webhook。创建通知对象,请参见通知对象概述

      说明

      未验证手机号的联系人无法使用电话通知方式。验证手机号的操作,请参见联系人

      通知方式

      通知方式支持电话、短信和邮箱,可以同时选择多种方式。

    2. 通知模板区域,设置邮件短信电话钉钉/飞书/企微的通知信息格式。

  4. 设置完成后,单击保存

8.2.x以上版本

说明

Grafana 9.0.x和Grafana 10.0.x交互略有差异,整体区别不大,本章节以Grafana 9.0.x为例进行讲解。

步骤一:关闭集成的ARMS告警插件

  1. 登录可观测可视化 Grafana 版控制台,在左侧导航栏单击工作区管理

  2. 工作区管理页面,单击目标工作区ID。

  3. 在左侧导航栏,单击告警管理,关闭集成的ARMS告警插件,启用Grafana原生告警。

步骤二:创建Grafana告警规则

  1. 工作区管理页面,单击目标工作区右侧的访问地址URL链接进入Grafana。

    说明

    如果需要登录Grafana,可以使用Grafana的Admin账号和创建工作区时设置的密码登录Grafana,或单击Sign in with Alibaba Cloud直接使用当前购买工作区的阿里云账号登录Grafana。

  2. 在Grafana左侧导航栏,选择image.png > Browse

  3. Browse页签,单击需要创建告警的监控大盘。

  4. 在大盘页面选择需要创建告警的面板,单击面板名称右侧的截屏2024-01-22 15.54.47_副本.png图标,然后单击Edit

  5. Edit Panel页面,单击Alert页签,然后单击Create alert rule from this panel

  6. 根据需求设置其他告警参数。具体操作,请参见Grafana官方文档配置Grafana原生告警规则

  7. 告警创建完成后,单击右上角的Save

    当Grafana告警被触发时,告警事件将会上报至ARMS的告警管理 > 告警事件历史页面。更多信息,请参见查看告警事件历史

步骤三:创建联络点

首先检查是否有名称为ARMS_GRAFANA的联络点。如果有,请跳过此步骤;如果没有,则创建Contact points。

  1. 在左侧导航栏,选择image > Contact points

  2. Contact points页面,单击New contact pointAdd contact point,配置以下参数。

    image

    配置项

    说明

    Name

    名称为ARMS_GRAFANA。

    IContact point type

    类型,选择Webhook。

    Addresses

    ARMS集成Grafana告警的集成地址。创建Grafana集成并获取集成地址,请参见集成Grafana告警

步骤四:创建Grafana通知策略

通过通知策略可以关联告警规则(Alert rule)和联络点(Contact point)。

  1. 在左侧导航栏,选择image > Notification policies

  2. Notification policies页签,单击New specific policy/New nested policy,完成以下参数配置。

    image.png

    配置项

    描述

    Matching labels

    表示希望该通知策略通过标签关联哪些告警规则。

    Contact point

    表示希望该通知策略接收到的告警事件发送到哪个告警联络点中。

    其他参数为告警分组和告警静默的一些配置。

步骤五:创建通知策略

可观测可视化 Grafana 版默认创建了对应的通知策略,您需要在通知策略中配置通知人信息才能接收Grafana告警通知。

  1. 登录ARMS控制台,在左侧导航栏选择告警管理 > 通知策略
  2. 通知策略列表中,选择名称为ARMS_GRAFANA的通知策略,单击操作列的编辑。如果没有ARMS_GRAFANA通知策略,请先创建。具体操作,请参见新建通知策略

  3. 编辑通知策略面板,单击通知对象页签。在通知对象页签,完成以下配置。具体操作,请参见通知策略

    1. 当告警生成时区域,单击添加通知对象,选择告警通知人和通知方式。

      配置项

      说明

      通知对象

      通知人支持设置联系人、联系人组、排班表、钉钉、飞书、企业微信或Webhook。创建通知对象,请参见通知对象概述

      说明

      未验证手机号的联系人无法使用电话通知方式。验证手机号的操作,请参见联系人

      通知方式

      通知方式支持电话、短信和邮箱,可以同时选择多种方式。

    2. 通知模板区域,设置邮件短信电话钉钉/飞书/企微的通知信息格式。

  4. 设置完成后,单击保存

查看告警通知

当通知策略被触发时,收到的告警通知如下所示:

短信

image.png

邮件

image.png

钉群

在钉钉群中收到告警通知后,您可以直接在钉钉群中处理告警。具体操作,请参见在告警通知群中处理告警

相关文档