新建数据源规则

Dataphin支持对数据源的连通性和表结构异动进行监测。如果您对数据源的连通性和表结构异动监测有一定诉求,那么您可以为数据源配置质量规则。质量规则定时检测数据源的连通性或数据结构异动,并支持设置异常告警信息,帮助您实时了解数据源连通性和表结构的状况。本文为您介绍如何配置数据源的质量规则。

前提条件

数据表已提交或发布至生产环境。

步骤一:新建质量规则

  1. 在Dataphin首页,单击顶部菜单栏中的资产

  2. 在数据资产页面,按照下图操作指引,进入添加质量规则对话框

    image
  3. 添加质量规则对话框,选择数据源后单击开始配置

    您可以通过选择数据源类型筛选数据源。

    image

步骤二:新建质量规则

  1. 质量规则配置页面,单击新建质量规则

    image
  2. 新建质量规则对话框,配置参数。

    image

    参数

    描述

    规则名称

    自定义质量规则的名称。

    规则强度

    选择质量规则的强弱:

    • 如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。

    • 如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。

    描述

    自定义质量规则描述。不超过128字符。

    规则模板

    仅支持稳定性

    稳定性:包含数据源连通性监测表结构异动监测。

    说明
    • 连通性监测:配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上,进而导致任务报错,对连通性监测的变化进行加监控告警。

    • 表结构异动:上游表的结构变化,如更名、删除、增减字段,进而导致下游报错,对表结构的变化进行加监控告警。

  3. 单击确定

规则配置列表

您可以在规则配置列表页面查看已经配置的数据源规则信息,并进行查看、编辑、试跑、运行、删除等操作。

image

区域

描述

搜索区:支持按照对象或者规则名称进行快捷搜索。

筛选区:支持按照规则类型规则模板规则强度试跑状态生效状态进行筛选。

展示区:展示规则配置列表的对象名称规则名称试跑状态生效状态等信息。

操作区:您可进行查看克隆编辑试跑运行调度配置删除操作。

  • 查看:可查看规则配置详情。

  • 克隆:可快速克隆规则。

  • 编辑:编辑规则后,需重新试跑。

  • 试跑:试跑后,可单击image查看试跑日志

  • 运行:运行后,可在校验记录中查看校验结果。

  • 调度配置:可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:

  • 如需批量试跑质量规则的对象,您可单击image的图标进行试跑。

  • 如需批量运行质量规则的对象,您可单击image的图标进行运行。

  • 如需批量调度配置质量规则的对象,您可单击image图标进行配置。

  • 如需批量开启质量规则的对象的生效状态,您可单击image图标选择开启

  • 如需批量关闭质量规则的对象的生效状态,您可单击image图标选择关闭

  • 如需批量删除质量规则的对象,您可单击image图标选择删除

步骤三:新建调度

说明
  • 规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。

  • 同一个规则最多能配置10个调度。

  • 调度配置完全一致时,支持自动去重

  1. 单击新建调度

    image
  2. 新建调度对话框,配置参数后单击确定

    image

    参数

    描述

    调度名称

    自定义调度名称。

    调度方式

    支持定时调度固定任务触发调度

    • 定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。

      • 调度周期:包含小时分钟五种周期类型。

    • 固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。

      说明

      适用于表的修改任务固定的情况。

      • 触发任务:下拉选择触发任务的任务表。支持选择所有任务均完成触发任一任务完成即触发

调度配置列表

调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作

image

区域

描述

搜索区:支持按照调度名称进行快捷搜索。

筛选区:支持按照定时调度触发调度进行筛选。

展示区:展示规则配置列表的调度名称调度类型等信息。

操作区:

  • 如需编辑质量规则的调度配置,您可单击操作列下image的图标进行编辑。

  • 如需克隆质量规则的调度配置,您可单击操作列下image的图标进行克隆。

  • 如需删除质量规则的调度配置,您可单击操作列下image的图标进行删除。

步骤四:设置告警

如果质量规则校验的结果为异常,则告警信息会发送至告警接收人。

单击告警设置,在告警设置对话框,选择告警接收人告警方式后,单击确定

image

步骤五:查看质量报告

单击质量报告,查看当前质量规则的规则校验概览规则校验明细

  • 单击image图标,查看质量规则的规则校验详情。

  • 单击image图标,查看质量规则的执行日志。

    image

数据源规则列表

您可以在质量规则列表页面查看已经配置的数据源规则信息,并进行查看、运行、转交质量负责人、删除等操作。

image

序号

描述

过滤项:您可以通过筛选条件过滤需要查询的质量规则。

您可以根据我负责的数据源名称校验开关最近一次校验状态质量负责人数据源类型用途资源负责人条件进行精确筛选。

展示区:为您展示数据源名称校验开关生效/总质量规则数最近一次校验状态质量负责人数据源类型用途资源负责人数据源质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情运行查看质量报告转交质量负责人删除的操作。

  • 查看质量规则详情:可查看数据源质量规则配置详情。

  • 运行:可根据配置的调度或自定义分区来运行数据源。

  • 查看质量报告:可查看数据源对应的质量报告。

  • 转交质量负责人:填写需要转交的质量负责人。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:您可以批量选择任务,进行运行转交开启关闭删除操作。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈