离线任务监控概述

离线任务监控功能支持您通过配置监控规则实现对离线任务的运行状态进行监控。在离线任务触发所配置的监控规则时,系统将根据所配置的接收人发送报警,以协助您保障任务的正常运行和数据的产出。

功能介绍

离线任务中支持对Basic项目或者Dev/Prod项目中的Prod环境中的周期任务、手动任务、逻辑表任务(明细表与汇总表)、逻辑表字段进行监控。监控范围分为字段级、任务级和项目级

  • 字段级监控:指为逻辑表字段添加监控,在字段级监控下您可为多个逻辑表字段配置相同的监控报警规则,也可为一个逻辑表字段配置多个不同的监控报警规则。配置字段级监控,请参见配置任务监控报警规则

  • 任务级监控:在任务级下您可为多个任务配置相同的监控报警规则,也可为一个任务配置多个不同的监控报警规则。配置任务级监控,请参见配置任务监控报警规则

  • 项目级监控:在项目级下您可为当前项目中所有任务或通过任务类型(任务类型+调度类型)批量配置告警规则。配置项目级监控,请参见配置项目监控报警规则

背景信息

Dataphin支持批量配置监控报警规则,包括批量圈选任务或字段配置一条相同的监控报警规则、为单个任务或字段批量配置多个监控报警规则,提高了配置监控报警规则的效率。

同时,Dataphin支持为单条监控报警规则配置不同的接收人,并且支持为不同接收人指定不同的接收方式,以确保任务相关人员都能收到报警信息。例如:

  • 为值班人配置电话告警,这样能在第一时间及时接收到告警信息并处理,尽量减少对下游任务的影响。

  • 为责任人配置短信或邮件告警,这样责任人能了解所负责的任务的运行概况,但是不用第一时间进行处理。

  • 为项目管理员配置钉钉群机器人告警,这样项目管理员能通过群消息了解所管理的项目全局任务的整体运行情况,便于后续统计分析。

监控告警规则优先级说明

在配置监控告警规则时可能存在规则冲突,规则优先级及冲突场景说明如下:

  • 字段级的监控告警规则优先级高于任务级,任务级的监控告警规则优先级高于项目级的监控告警规则。字段级>任务级>项目级

  • 如果当前监控对象没有配置任务级的告警配置,且两条及两条以上项目级监控告警规则配置的 (监控对象+报警原因+接收人+接收方式)完全一致且告警频率/发送次数不一致时,会发生冲突。当多条项目级监控告警规则发生冲突时,规则生效优先级为项目级监控告警规则列表中从上往下,以第一条命中的规则告警配置为准。

    重要

    新创建的项目监控规则默认置于列表最顶部(默认优先级生效),同时默认开启监控。

离线任务监控入口

  1. 请参见运维中心入口,进入运维中心。

  2. 按照下图操作指引,进入离线任务监控页面。

    image.png

离线任务监控页面介绍

在离线监控配置页面,您可以单击任务监控字段监控项目监控页签,查看已生成的监控报警规则。

  • 任务监控页面

    任务监控页面展示已配置的任务监控的监控对象、报警原因、创建人、接收人(类型)、接收方式、最近更新人/时间、监控开关的状态信息及支持的操作。

    image.png

    操作

    描述

    搜索与筛选区

    在搜索与筛选区域,您可以通过输入任务名称/任务ID或根据报警原因接收方式创建人接收人作为筛选条件,快速高效的定位目标,查看监控配置的详情。

    筛选项包括:

    • 报警原因:包括出错、运行超时和未完成。

    • 接收方式:包括电话、短信、钉钉和邮件。

    • 创建人:即创建该条监控规则的用户。

    • 接收人:即每条监控规则中配置的告警接收对象。

    如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    任务监控列表

    在监控规则列表区域,您可编辑、删除监控规则和开启或关闭监控开关。

    批量操作区

    在图的模块③区域,支持批量删除监控报警规则、开启或关闭监控开关。同时您可以单击更多,批量新增、删除和替换自定义接收人及修改接收配置。

  • 字段监控页面

    任务监控页面展示已配置字段监控的逻辑表、监控字段、报警原因、创建人、接收人(类型)、接收方式、最近更新人/时间、监控开关的状态信息及支持的操作。

    image.png

    操作

    描述

    搜索与筛选区

    在搜索与筛选区域,您可以通过输入任务名称/任务ID或根据报警原因接收方式创建人接收人作为筛选条件,快速高效的定位目标,查看监控配置的详情。

    筛选项包括:

    • 报警原因:包括出错、运行超时和未完成。

    • 接收方式:包括电话、短信、钉钉和邮件。

    • 创建人:即创建该条监控规则的用户。

    • 接收人:即每条监控规则中配置的告警接收对象。

    如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    任务监控列表

    在监控规则列表区域,您可编辑、删除监控规则和开启或关闭监控开关。

    批量操作区

    在图的模块③区域,支持批量删除监控报警规则、开启或关闭监控开关。同时您可以单击更多,批量新增、删除和替换自定义接收人及修改接收配置。

  • 项目监控页面

    项目监控报警页面展示已配置的项目监控报警的规则名称、监控范围、报警原因、创建人、接收人(类型)、最近更新人/时间、监控开关的状态信息与支持的操作。

    image.png

    区域

    描述

    搜索与筛选区

    在搜索与筛选区域,您可以通过输入任务名称/任务ID或根据报警原因接收方式创建人接收人作为筛选条件,快速高效的定位目标,查看监控配置的详情。

    筛选项包括:

    • 报警原因:包括出错、运行超时和未完成。

    • 接收方式:包括电话、短信、钉钉和邮件。

    • 创建人:即创建该条监控规则的用户。

    • 接收人:即每条监控规则中配置的告警接收对象。

    如果您需要重新筛选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。

    监控规则列表

    在监控规则列表区域,您可以编辑、删除、调整顺序(优先级)监控规则和开启或关闭监控开关。

    批量操作区

    在图的模块③区域,支持批量删除监控报警规则、开启或关闭监控开关。

    说明

    开启或关闭监控开关,将即时生效

    同时您可以单击更多,批量新增、删除和替换自定义接收人及修改接收配置。