新建基线监控

数据业务产出的核心质量指标是及时性与准确性,您可以按照数据业务的重要程度,用质量规则监控来实现内容保障,用基线监控来实现时效保障。基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行基线监控配置。

前提条件

已购买智能运维增值服务并且当前租户已开通智能运维模块。

权限说明

仅超级管理员、系统管理员或其他有基线监控配置权限的账号支持创建基线任务。

说明

创建后的基线任务可以将基线负责人转移给其他成员。基线负责人可以编辑、删除基线。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照下图操作指引,进入新建基线对话框。

    image.png

  3. 新建基线页面,配置参数。

    参数

    描述

    基本信息

    基线名称

    基线任务的名称,建议结合监控的业务场景进行配置,不超过128个字符。

    负责人

    可选范围为当前租户下的所有成员。

    优先级

    可以选择:高、最高。

    说明

    添加到基线的任务以基线优先级为准,优先级会影响调度资源分配顺序。

    基线类型

    目前仅支持天基线

    描述

    基线基本信息的描述,不超过512个字符。

    保障对象

    保障对象列表

    保障对象区域以列表形式为您展示已添加到当前基线的保障对象。列表操作栏为您展示保障对象支持的管理操作。保障对象包括保障对象(名称)、保障详情调度周期定时/预计产出时间归属项目/板块负责人及支持的操作。

    • 保障详情:保障对象为逻辑表时可查看逻辑表字段保障的字段个数及具体的字段信息。

      image..png

    • 调度周期:包括分钟、小时、日、月、年。

      image..png

    • 定时/预计产出时间:物理任务或逻辑表的定时/预计产出时间。如果保障对象没有历史运行记录,则无法计算预计完成时间。对于逻辑表,为已选字段的最早定时开始时间和最晚预计产出时间。单击image图标,可查看每个逻辑表字段的定时/预计产出时间。

      image..png

    • 归属项目/板块:物理任务、明细表所归属的项目,汇总表所归属板块。

    • 负责人:该保障对象的负责人。

    • 操作:支持删除当前保障对象。

    +添加保障对象

    支持添加物理任务或逻辑表字段为保障对象。

    image..png

      说明
      • 每条基线最多添加50个保障对象。

      • 每个逻辑表算一个保障节点,可以选择多个字段。

      • 添加物理任务:在添加物理任务对话框,您可根据您的业务需求添加需要保障的物理任务。

        image..png

      • 添加逻辑表字段:在添加逻辑表字段对话框,您可根据您的业务需求添加需要保障的逻辑表字段。

        image..png

    告警配置

    基线告警

    image..png

    • 历史预计产出时间系统将根据已选保障对象最近7天运行成功的记录进行推算。

      说明

      小时任务支持不计算,数据不足时可能有误差,仅作为参考。

    • 保障产出时间:支持选择当天还是次日

    • 预警余量:默认为0,可填写范围为[0, 180]之间的整数。

      说明

      如果配置为0,则不进行基线预警。

    • 告警频率:默认为1分钟/次,可填范围为[1, 59]之间的整数。

    • 告警区间:默认为全天,可指定具体时间段。

    • 最大告警次数:默认为1次,可填范围为[1, 10]之间的整数。

    • 接收配置:单击添加接收人,可配置接收人及接收方式。

      • 接收人类型:支持责任人值班表自定义

      • 接收方式:支持电话、短信、邮件、钉钉。

      说明

      接收人最多支持3个。

    事件告警

    image..png

    • 事件开关:可配置是否进行事件告警,默认开启。

      保障任务的上游任务出错或变慢会触发事件告警,可能导致保障任务无法在承诺时间前完成;不影响已配置的任务告警。

    • 事件告警类型

      • 出错:基线链路上的节点运行出错即发送告警。

      • 变慢:根据最近7次正常调度且运行成功的记录推算历史平均运行时长。若本次运行超过历史平均运行时长的30%,则触发变慢告警。

    • 告警及接收配置

      • 同基线告警配置:默认选择,包括告警频率、最大告警次数、告警区间、接收配置。

      • 自定义配置:可自定义告警频率、最大告警次数、告警区间、接收配置。

  4. 单击确定,完成基线任务创建