在Grafana 10.0.x中创建告警规则并推送至ARMS告警管理

Grafana 10.0.x中创建告警规则并推送至ARMS告警管理后,您可以对自定义的监控指标实现自动化异常检测,并且在ARMS控制台中统一处理异常。此外,通过设置通知策略,您可以在钉钉群中接收自定义监控指标的告警详情以及告警等级通知。

创建Grafana告警规则

Grafana 10.0.x默认内置ARMS告警集成。您可登录ARMS控制台,在告警管理 > 集成页面的告警集成页签查看详情。

image.png

步骤一:配置Grafana告警规则

  1. 登录ARMS控制台,在左侧导航栏选择Grafana服务 > 工作区管理

  2. 工作区管理页面,单击目标工作区右侧的访问地址URL链接进入Grafana。

    说明

    如果需要登录Grafana,可以使用GrafanaAdmin账号和创建工作区时设置的密码登录Grafana,或单击Sign in with Alibaba Cloud直接使用当前购买工作区的阿里云账号登录Grafana。

  3. Grafana左侧导航栏,选择应用 > ITSMApps > ITSM

  4. ITSM页面,单击告警规则列表

  5. Alert rules页面,单击Create alert rule

  6. Add rule页面配置告警规则后,单击Save rule

    image.png

步骤二:查看告警管理通知

  1. 登录ARMS控制台

  2. 在控制台左侧导航栏选择告警管理 > 告警事件历史
  3. 事件列表页面,查看产生的事件。

    image.png

  4. 单击目标事件的新建通知策略创建通知策略后,您会在告警管理 > 告警发送历史页面收到以下告警信息。

    image.png

  5. 配置生效后,在钉钉群中查看告警通知。

    image.png

    从告警卡片中,可以看到告警内容较为详细地列举出了所有的标签和注解内容。

优化Grafana告警规则

配置Grafana告警规则

  1. Add rule页面的Add details for your alert rule区域,添加名为message的注解。

    image.png

    • messageARMS告警管理中事件内容的约定值。您可以在注解中引用告警规则中查询结果的值,以及PromQL查询结果中的标签。语法模板,请参见Templating labels and annotations

    • message中引用的变量值解释如下表所示,您也可以引用告警规则中存在的其他标签。

      变量引用值

      解释

      {{ $labels.deployment }}中的deployment

      Add页面的Set a query and alert condition区域查看:

      image.png

      {{ index $values "B" }}中的value

      Add页面的Set a query and alert condition区域查看:

      image.png

  2. 配置生效后,在钉钉群中查看告警通知。

    image.png

配置告警等级

  1. Add rule页面的Notifications区域,设置severity标签。severityARMS告警管理中事件等级的约定值。

    image.png

    标签值与告警级别映射关系如下:

    标签值

    告警等级

    critical

    P1

    error

    P2

    warning

    P3

    page

    P4

  2. 配置生效后,在钉钉群中查看告警通知。

    image.png