前提条件
需购买资产质量增值服务才能使用数据质量功能。
场景描述
在上一篇文档中介绍了数据更新触发调度的方式执行质量规则,此方式适用于表的数据更新来源任务不固定、任务范围也比较广的情况。若涉及表数据更新的任务节点不会发生变更时,可通过固定任务触发调度的方式,进行质量规则的调度配置。
解决方案与功能
数据质量支持固定任务触发调度功能,支持以下三种触发场景:
所有任务都运行成功后触发
每个任务每次运行成功后均触发
每个任务每次运行前均触发
以顾客信息表为例,客户表被引用的下游任务不明确,但该表数据来源为集成任务。因此,针对集成任务节点配置每个任务每次运行成功后均触发质量规则校验,并通过强规则阻断下游任务运行(下游任务为规范建模配置的调度依赖,明确指定上述集成任务作为依赖项)。
在治理 > 数据质量 > 质量规则页面,单击添加监控对象按钮。
在添加监控对象对话框中,配置参数后,单击配置质量规则。
在质量规则详情页面,单击新建质量规则按钮,选择自定义配置,在新建质量规则对话框中,为
customer_id字段设置空值校验质量规则,并将规则类型设置为强规则,确保检测不通过时可直接阻断下游任务执行,防止脏数据扩散。
规则配置完成后,单击调度配置 > 新建调度,在新建调度对话框中,调度类型选择固定任务触发调度,并设置触发时机为每个任务每次运行成功后触发,支持选择当前操作人有运维权限的生产任务节点,系统也会展示产出当前表的任务作为推荐。
说明固定任务触发只能选择生产环境任务,若规则强度配置了强规则,调度任务校验失败,可能会影响线上任务,请根据业务需求谨慎操作。
当触发时机选择每个任务每次运行前触发时,推荐任务为您展示当前表作为输入的血缘任务。

调度配置完成后,在规则配置列表选择目标质量规则,单击调度类型列下的配置调度,将其与刚创建的调度绑定,在该表的产出任务执行后,自动进行质量校验。

校验记录
调度生效后,每次产出该信息表的任务执行完成后,系统会自动触发质量校验:
若通过,系统生成一条通过的校验记录,任务继续执行。
若不通过,系统生成一条不通过的校验记录,同时将数据更新任务置为运行失败,并默认阻断下游任务运行,防止异常数据扩散。