您可以通过自然语言指令驱动Qoder、CodeX等代码Agent,完成数据质量规则从创建监控对象、配置校验规则,到调度告警、试跑验证的全流程管理。本文为您介绍该能力的功能、使用前提、使用示例与执行结果,并在附录中提供输入信息清单供参考。
功能介绍
数据质量规则能力支持您通过自然语言指令,为Dataphin表、全域表、数据源、指标等监控对象配置质量校验规则,并完成规则的调度、告警、试跑、启停与结果查看,帮助您及时发现并处理数据质量问题。支持的校验维度覆盖完整性(非空)、唯一性、有效性(格式、值域、枚举)、一致性与稳定性(波动)等。
适用场景:
-
为某张表的字段配置非空、唯一、值域、枚举、格式等质量校验。
-
为质量规则设置定时调度或数据更新触发,并在校验异常时告警通知质量负责人。
-
在正式启用规则前,先试跑验证规则的校验效果。
-
查看质量规则的执行结果与历史记录。
能力限制:异常归档模式、归档位置、计分方式与打分权重暂不支持通过本能力自定义,如需调整请在Dataphin界面操作;告警为监控对象级别,对该对象下所有质量规则生效,不支持按单条规则单独配置;不同监控对象类型支持的调度方式存在差异(如全域表、数据源不支持数据更新触发调度),Agent会在配置时向您说明。
使用前提
-
当前账号具备数据质量规则的管理权限(如超级管理员、质量管理员,或具备质量规则管理权限的自定义角色)。
-
已准备好目标租户ID,以及需要监控的表、字段等信息。
使用示例
您可以直接用自然语言向Agent描述需求,以下为可直接复制的指令示例:
-
给sales项目account表的phone字段配置一个非空校验,设为强监控规则,异常记录数等于0时算通过。
-
为account表的email字段配置唯一性校验,并设置每天凌晨2点定时调度,校验异常时通过邮件通知质量负责人。
-
帮我给订单表的金额字段配置值域校验,金额必须大于0,配置完成后先试跑看看效果。
-
查看account表质量规则最近的执行结果。
交互步骤:
-
您发出配置指令后,Agent会先与您确认监控对象类型(Dataphin表、全域表、数据源、指标或实时元表)和具体监控对象。
-
Agent自动定位监控对象、匹配质量规则模板,并根据您的诉求补齐校验字段、校验条件等配置。
-
若您未说明,Agent会主动询问是否需要配置调度和告警。
-
正式创建规则前,Agent通常会复述配置清单(监控对象、校验字段、规则模板、校验条件、规则强度、调度、告警等)供您确认。
-
您确认后,Agent创建规则,并默认发起一次试跑,将试跑结果如实反馈给您。
执行结果
规则配置完成后,您可以获得以下结果:
-
返回内容:创建成功后,系统会返回监控对象、质量规则、调度、告警及试跑任务的标识信息,Agent会回查确认规则已正确创建。
-
完成状态:质量规则按您确认的配置创建成功;若配置了调度,则调度已与规则绑定;试跑任务执行完成后会给出校验结果(校验通过、检出异常或执行报错)。
-
查看与验证:您可以登录Dataphin,在治理 > 数据质量页面查看该监控对象与质量规则;规则的试跑与调度执行结果可在质量任务执行记录中查看。
命令行返回成功仅表示请求已受理,最终配置状态请以Dataphin界面显示的实际结果为准。
附录:输入信息
以下为配置数据质量规则时可能涉及的信息项,仅供参考。实际使用时,Agent会根据您的指令自动识别所需信息,缺失时再向您询问;标注为无需提供的信息项由系统自动生成,您无需准备。
|
信息项 |
是否必填 |
说明 |
示例 |
|
租户ID |
是 |
目标Dataphin租户的ID,为19位数字。 |
1234567890123456789 |
|
监控对象类型 |
是 |
需要监控的对象类型,包括Dataphin表、全域表、数据源、指标、实时元表。 |
Dataphin表 |
|
具体监控对象 |
是 |
需要监控的表、数据源或指标,提供名称即可,系统会自动定位对象。 |
sales项目下的account表 |
|
规则名称 |
是 |
质量规则的名称。 |
账户表手机号非空校验 |
|
校验类型 |
是 |
需要校验的数据质量维度,如非空、唯一、值域、枚举、格式、波动等。 |
非空校验 |
|
校验字段 |
字段级规则必填 |
需要校验的具体字段,表级规则无需提供。 |
phone |
|
规则强度 |
是 |
强监控规则(校验不通过时阻断下游任务)或弱监控规则(仅告警不阻断)。 |
强监控规则 |
|
校验条件 |
是 |
判定校验通过或异常的阈值条件。未配置时界面显示为未配置,且试跑会失败。 |
异常记录数等于0 |
|
是否异常归档 |
否 |
是否开启异常数据归档。 |
开启 |
|
调度 |
否 |
是否设置定时或触发式调度。需要时须指定调度类型。 |
每天凌晨2点定时执行 |
|
告警 |
否 |
校验异常时是否通知质量负责人,以及通知方式。 |
邮件通知质量负责人 |
|
是否试跑 |
否 |
规则创建后是否立即试跑验证,默认试跑。 |
是 |
|
监控对象名称 |
无需提供 |
系统根据对象元数据自动生成,您无需填写。 |
—— |