新建实时元表规则

本文为您介绍如何新建实时元表规则。

元表规则说明

系统支持创建的实时元表规则说明如下。

规则类型

描述

统计趋势监测

统计趋势监测校验数据值及数据变化趋势。

实时多链路对比

在业务有强保障场景中,可以通过实时双链路或实时三链路质量规则,监测数据。如果有异常,运维人员能够及时切换或备份数据。实时多链路对比质量规则支持监控数据滞留、统计偏差等问题。

实时离线数据核对

实时数据与离线数据在使用相同统计路逻辑时,实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大,可能存在数据质量的问题。

新建质量规则

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 资产页面,按照下图操作指引,添加质量规则对话框。

    image
  3. 添加质量规则对话框,选择数据表后单击开始配置

    您也可以选择环境所属项目来筛选数据表。

    image
  4. 质量规则配置页面,配置质量规则。

    1. 单击新建质量规则

      image
    2. 创建质量规则对话框,配置参数。

      image

      参数

      描述

      规则名称

      自定义质量规则的名称。

      规则强度

      选择质量规则的强弱:

      • 如果您选择了强规则,则质量规则校验的结果为异常时报警并阻塞下游任务节点。

      • 如果您选择了弱规则,则质量规则校验的结果为异常时报警但不阻塞下游任务节点。

      描述

      自定义质量规则描述。不超过128字符。

      规则模板

      下拉可选择规则模板,一致性稳定性

      • 一致性:包含实时离线对比实时对链路对比

      • 稳定性:包含实时统计值检测

      详情请参见模板说明

      规则类型

      规则类型包含系统类型和自定义类型。

      • 系统类型和模板有关,是模板最基础的属性。

      • 支持用户自定义模板的类型,作为说明和筛选功能。

      规则配置

      根据所选的规则模板进行规则配置。详情请参见实时离线对比参数说明实时多链路对比参数说明

      异常校验

      • 数据质量规则校验后,结果会和异常校验的配置进行对比,符合条件则校验结果为不通过;同时触发告警等后续流程。

      • 异常校验可用指标由模板和配置内容决定,支持多种条件的and / or条件,实际配置中建议小于3条。

      实时离线对比参数说明

      参数

      描述

      校验字段

      选择需要校验的字段。

      指标算子

      选择数据的算法。

      对象形式

      选择单值数据多值数据

      时间限定条件

      选择时间限定的字段。

      开启条件限定

      选择开启关闭条件限定。

      离线数据

      下拉选择离线数据表。

      离线取数

      通过SQL语句配置离线数据表的取数。

      时区设置

      下拉选择时区。

      实时多链路对比参数说明

      参数

      描述

      校验字段

      选择需要校验的字段。

      指标算子

      选择数据的算法。

      对象形式

      选择单值数据多值数据

      时间限定条件

      选择时间限定的字段。

      开启条件限定

      选择开启关闭条件限定。

      对比链路数

      选择质量规则的对比链路数。系统支持选择实时三链路对比实时双链路对比

      对比链路1

      选择实时元表作为对比链路数据:

      • 如果模板选择了实时双链路对比,则只需要选择一个实时元表。

      • 如果模板选择了实时三链路对比,则需要选择两个实时元表。

      时区设置

      拉选择时区。

      模板说明

      模板类型

      模板详情分类

      说明

      一致性

      实时离线对比

      当实时数据与离线数据使用相同的统计逻辑时,用于数据的最终值差异的校验。如果差异较大,可能存在较大数据质量的问题需要进行确认和修复。

      实时多链路对比

      • 高可用场景下,需要构建多条链路,以便数据出现异常时,能够及时切换。

      • 对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题,提升实时数据质量

      稳定性

      实时统计值检测

      • 实时数据为指标值或可统计数据时,用于判断数据是否正确

      • 可选择和固定值或者历史进行对比

  5. 单击预览SQL

    说明
    • 关键信息没有填写完整,预览SQL不可用。

    • 左边为上次保存配置SQL预览,若未配置,则为空;右边为当前配置SQL预览。

    image
  6. 单击确定,完成质量规则的配置。

规则配置列表

您可以在规则配置列表页面查看已经配置的元表规则信息,并进行查看、编辑、试跑、运行、删除等操作。

image

区域

描述

搜索区:支持按照对象或者规则名称进行快捷搜索。

筛选区:支持按照规则类型规则模板规则强度试跑状态生效状态进行筛选。

展示区:展示规则配置列表的对象名称规则名称试跑状态生效状态等信息。

操作区:您可进行查看克隆编辑试跑运行调度配置删除操作。

  • 查看:可查看规则配置详情。

  • 克隆:可快速克隆规则。

  • 编辑:编辑规则后,需重新试跑。

  • 试跑:试跑后,可单击查看试跑日志

  • 运行:运行后,可在校验记录中查看校验结果。

  • 调度配置:可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:

  • 如需批量试跑质量规则的对象,您可单击image的图标进行试跑。

  • 如需批量运行质量规则的对象,您可单击image的图标进行运行。

  • 如需批量调度配置质量规则的对象,您可单击image图标进行配置。

  • 如需批量开启质量规则的对象的生效状态,您可单击image图标选择开启

  • 如需批量关闭质量规则的对象的生效状态,您可单击image图标选择关闭

  • 如需批量删除质量规则的对象,您可单击image图标选择删除

新建调度

说明
  • 规则配置调度时,可以基于该表格当前已有的调度快速进行配置(每个表上限20个调度规则)。

  • 同一个规则最多能配置10个调度。

  • 调度配置完全一致时,支持自动去重

  1. 单击新建调度

    image
  2. 新建调度对话框,配置参数后单击确定

    image

    参数

    描述

    调度名称

    自定义调度名称。

    调度方式

    支持定时调度、代码检查触发调度固定任务触发调度

    • 定时调度:按照设置的时间,周期性的对数据进行质量检测,适合数据文档产出的场景。

      • 调度周期:包含小时分钟五种周期类型。

    • 代码检查触发调度:在每一个代码任务执行时,会检查是否修改了该规则所覆盖的表/分区;如果涉及到配置了该调度方式的表发生变更,则会开始执行质量规则。

      说明

      适用于表的修改任务不固定/重点监控表,每次变更都需要监控的情况。

    • 固定任务触发调度:仅在指定的任务完成后,执行配置的质量规则。

      说明

      适用于表的修改任务固定的情况。

      • 触发任务:支持选择所有任务均完成触发任一任务完成即触发

调度配置列表

调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作。

image

区域

描述

搜索区:支持按照调度名称进行快捷搜索。

筛选区:支持按照定时调度触发调度进行筛选。

展示区:展示规则配置列表的调度名称调度类型等信息。

操作区:

  • 如需编辑质量规则的调度配置,您可单击操作列下image的图标进行编辑。

  • 如需克隆质量规则的调度配置,您可单击操作列下image的图标进行克隆。

  • 如需删除质量规则的调度配置,您可单击操作列下image的图标进行删除。

批量操作区:

如需批量删除质量规则的调度配置,您可单击图标进行批量删除。

告警配置

单击告警设置,在告警设置对话框,选择告警接收人告警方式后,单击确定

image

查看质量报告

单击质量报告,查看当前质量规则的规则校验概览规则校验明细

  • 单击image图标,查看质量规则的规则校验详情。

  • 单击image图标,查看质量规则的执行日志。

    image

实时元表规则列表

您可以在质量规则列表页面查看已经配置的实时元表规则信息,并进行查看、运行、转交质量负责人、删除等操作。

image

序号

描述

过滤项:您可以通过筛选条件过滤需要查询的质量规则。

您可以根据我负责的表名称校验开关最近一次校验状态质量负责人数据板块资源负责人、所属项目条件进行精确筛选。

展示区:为您展示表名称校验开关生效/总质量规则数最近一次校验状态质量负责人数据源板块所属项目资源负责人实时元表质量规则详细信息,同时您可以在操作列对规则进行查看质量规则详情运行查看质量报告转交质量负责人删除的操作。

  • 查看质量规则详情:可查看实时元表质量规则配置详情。

  • 运行:可根据配置的调度或自定义分区来运行实时元表。

  • 查看质量报告:可查看实时元表对应的质量报告。

  • 转交质量负责人:填写需要转交的质量负责人。

  • 删除:删除此质量规则对象将删除对象下的所有质量规则,删除后不可撤销。

批量操作区:您可以批量选择任务,进行运行转交开启关闭删除操作。

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈