新建基线监控

数据业务产出的核心质量指标是及时性与准确性,您可以按照数据业务的重要程度,用质量规则监控来实现内容保障,用基线监控来实现时效保障。基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行基线监控配置。

前提条件

已购买智能运维增值服务。

权限说明

仅超级管理员、系统管理员或其他有基线监控配置权限的账号支持创建基线任务。

说明

创建后的基线任务可以将基线负责人转移给其他成员。基线负责人可以编辑、删除基线。

操作步骤

  1. Dataphin首页的顶部菜单栏中,选择研发 > 任务运维

  2. 在左侧导航栏,选择监控管理 > 基线监控

  3. 基线监控页面,单击新建基线,在新建基线页面,配置以下参数。

    1. 基本信息

      参数

      描述

      基线名称

      基线任务的名称,建议结合监控的业务场景进行配置,不超过128个字符。

      负责人

      可选范围为当前租户下的所有成员。

      优先级

      可以选择最高

      说明

      添加到基线的任务以基线优先级为准,优先级会影响调度资源分配顺序。

      基线类型

      目前仅支持天基线

      描述

      基线基本信息的描述,不超过512个字符。

    2. 保障对象

      参数

      描述

      保障对象列表

      保障对象区域以列表形式为您展示已添加到当前基线的保障对象。列表操作栏为您展示保障对象支持的管理操作。保障对象包括保障对象(名称)、保障详情调度周期定时/预计产出时间归属项目/板块负责人及支持的操作。

      • 保障详情:保障对象为逻辑表时可查看逻辑表字段保障的字段个数及具体的字段信息。

      • 调度周期:包括分钟、小时、日、周、月、年。

      • 定时/预计产出时间:对于逻辑表,展示已选字段的最早定时开始时间和最晚预计产出时间。如果选中对象没有历史运行记录,则无法计算预计完成时间。产出时间是系统时区对应的时间。

        单击image图标,可查看每个逻辑表字段的定时/预计产出时间。

      • 归属项目/板块:物理任务、明细表所归属的项目,汇总表所归属板块。

      • 负责人:该保障对象的负责人。

      • 操作:支持删除当前保障对象。

      +添加保障对象

      单击保障对象区域中的添加保障对象,可选择添加物理任务逻辑表字段为保障对象。

      说明
      • 每条基线最多添加50个保障对象。

      • 每个逻辑表算一个保障节点,可以选择多个字段。

      • 添加物理任务:在添加物理任务对话框,您可根据您的业务需求添加需要保障的物理任务。可根据项目、节点名称或ID进行筛选搜索。

      • 添加逻辑表字段:在添加逻辑表字段对话框,选择逻辑表并选择逻辑表中符合需要的字段。逻辑表可根据数据板块或逻辑表名关键字进行筛选搜索,逻辑表字段可根据字段名称关键字进行搜索。

    3. 告警配置

      参数

      描述

      基线告警

      • 历史预计产出时间根据已选保障对象最近7天运行成功的记录进行推算,产出时间是系统时区对应的时间。

        说明

        小时任务支持不计算,数据不足时可能有误差,仅作为参考。

      • 保障产出时间:可选择当天还是次日,需同时选择时间点。

        当系统时区(即用户中心中的时区)与调度时区不一致时,系统将同时展示系统时区和调度时区。选择时间后,系统自动计算出对应的调度时区时间。当计算出的调度时区时间与系统时区时间不在同一天时,使用(-1)表示前一天、(+1)表示后一天。例如,系统时区为GMT+08:00,调度时区为GMT+01:00,指定时段配置为00:00 ~ 01:00,则对应的调度时区时间为17:00(-1) ~ 18:00(-1)

      • 预警余量:默认为0,可填写范围为[0, 180]之间的整数。

        说明

        如果配置为0,则不进行基线预警。

      • 告警频率:默认为1分钟/次,可填范围为[1, 59]之间的整数。

      • 告警区间:可选择全天指定时段,默认为全天。当选择指定时段时,需同时配置起始时间,起始时间的时区,同保障产出时间时区的说明。

      • 最大告警次数:默认为1次,可填范围为[1, 10]之间的整数。

      • 接收配置:单击添加接收人,可配置接收人及接收方式。

        • 接收人类型:支持责任人值班表自定义

        • 接收方式:支持电话、短信、邮件、钉钉。

        说明

        接收人最多支持3个。

      事件告警

      • 事件开关:可配置是否进行事件告警,默认开启。

        保障任务的上游任务出错或变慢会触发事件告警,可能导致保障任务无法在承诺时间前完成;不影响已配置的任务告警。

      • 事件告警类型

        • 出错:基线链路上的节点运行出错即发送告警。

        • 变慢:根据最近7次正常调度且运行成功的记录推算历史平均运行时长。若本次运行超过历史平均运行时长的30%,则触发变慢告警。

      • 告警及接收配置

        • 同基线告警配置:默认选择,包括告警频率、最大告警次数、告警区间、接收配置。

        • 自定义配置:可自定义告警频率、最大告警次数、告警区间、接收配置。

  4. 单击确定,完成基线任务创建