配置数据质量规则SKILL

更新时间:
复制 MD 格式

您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,完成数据质量规则从创建监控对象、配置校验规则,到调度告警、试跑验证的全流程管理。本文为您介绍该能力的功能、使用前提、使用示例与执行结果,并在附录中提供输入信息清单供参考。

功能介绍

数据质量规则能力支持您通过自然语言指令,为Dataphin表、全域表、数据源、指标等监控对象配置质量校验规则,并完成规则的调度、告警、试跑、启停与结果查看,帮助您及时发现并处理数据质量问题。支持的校验维度覆盖完整性(非空)、唯一性、有效性(格式、值域、枚举)、一致性与稳定性(波动)等。

适用场景:

  • 为某张表的字段配置非空、唯一、值域、枚举、格式等质量校验。

  • 为质量规则设置定时调度或数据更新触发,并在校验异常时告警通知质量负责人。

  • 在正式启用规则前,先试跑验证规则的校验效果。

  • 查看质量规则的执行结果与历史记录。

说明

能力限制:异常归档模式、归档位置、计分方式与打分权重暂不支持通过本能力自定义,如需调整请在Dataphin界面操作;告警为监控对象级别,对该对象下所有质量规则生效,不支持按单条规则单独配置;不同监控对象类型支持的调度方式存在差异(如全域表、数据源不支持数据更新触发调度),Agent会在配置时向您说明。

使用前提

  • 当前账号具备数据质量规则的管理权限(如超级管理员、质量管理员,或具备质量规则管理权限的自定义角色)。

  • 已准备好目标租户ID,以及需要监控的表、字段等信息。

使用示例

您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:

  • 给sales项目account表的phone字段配置一个非空校验,设为强监控规则,异常记录数等于0时算通过。

  • 为account表的email字段配置唯一性校验,并设置每天凌晨2点定时调度,校验异常时通过邮件通知质量负责人。

  • 帮我给订单表的金额字段配置值域校验,金额必须大于0,配置完成后先试跑看看效果。

  • 查看account表质量规则最近的执行结果。

交互步骤:

  1. 您发出配置指令后,Agent会先与您确认监控对象类型(Dataphin表、全域表、数据源、指标或实时元表)和具体监控对象。

  2. Agent自动定位监控对象、匹配质量规则模板,并根据您的诉求补齐校验字段、校验条件等配置。

  3. 若您未说明,Agent会主动询问是否需要配置调度和告警。

  4. 正式创建规则前,Agent通常会复述配置清单(监控对象、校验字段、规则模板、校验条件、规则强度、调度、告警等)供您确认。

  5. 您确认后,Agent创建规则,并默认发起一次试跑,将试跑结果如实反馈给您。

执行结果

规则配置完成后,您可以获得以下结果:

  • 返回内容:创建成功后,系统会返回监控对象、质量规则、调度、告警及试跑任务的标识信息,Agent会回查确认规则已正确创建。

  • 完成状态:质量规则按您确认的配置创建成功;若配置了调度,则调度已与规则绑定;试跑任务执行完成后会给出校验结果(校验通过、检出异常或执行报错)。

  • 查看与验证:您可以登录Dataphin,在治理 > 数据质量页面查看该监控对象与质量规则;规则的试跑与调度执行结果可在质量任务执行记录中查看。

说明

命令行返回成功仅表示请求已受理,最终配置状态请以Dataphin界面显示的实际结果为准。

附录:输入信息

以下为配置数据质量规则时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。

信息项

是否必填

说明

示例

租户ID

是

目标Dataphin租户的ID,为19位数字。

1234567890123456789

监控对象类型

是

需要监控的对象类型,包括Dataphin表、全域表、数据源、指标、实时元表。

Dataphin表

具体监控对象

是

需要监控的表、数据源或指标,提供名称即可,系统会自动定位对象。

sales项目下的account表

规则名称

是

质量规则的名称。

账户表手机号非空校验

校验类型

是

需要校验的数据质量维度,如非空、唯一、值域、枚举、格式、波动等。

非空校验

校验字段

字段级规则必填

需要校验的具体字段,表级规则无需提供。

phone

规则强度

是

强监控规则(校验不通过时阻断下游任务)或弱监控规则(仅告警不阻断)。

强监控规则

校验条件

是

判定校验通过或异常的阈值条件。未配置时界面显示为未配置,且试跑会失败。

异常记录数等于0

是否异常归档

否

是否开启异常数据归档。

开启

调度

否

是否设置定时或触发式调度。需要时须指定调度类型。

每天凌晨2点定时执行

告警

否

校验异常时是否通知质量负责人,以及通知方式。

邮件通知质量负责人

是否试跑

否

规则创建后是否立即试跑验证,默认试跑。

是

监控对象名称

无需提供

系统根据对象元数据自动生成,您无需填写。

——