数据落标

模型发布生产环境成功后,DataWorks智能数据建模支持自动生成数据质量监控规则,便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。

前提条件

已将表发布至生产环境。表发布操作请参见发布模型至引擎

注意事项

表成功发布至生产环境后,表的字段管理设置中,以下字段支持自动生成数据质量规则:

  • 主键非空字段。

  • 配置了关联标准代码的字段。

操作步骤

发布维度表

  1. 进入智能数据建模页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据建模,在下拉框中选择对应工作空间后单击进入数据建模

  2. 单击上方导航栏内的维度建模进入维度建模页面,选择需要配置数据落标的表,双击表名称进入表详情页面。

  3. 字段管理模块下对该维度的表字段勾选配置主键非空以及关联字段标准

  4. 单击image保存该表,再单击image按钮,将该表其提交为新的模型版本。

  5. 单击image发布该表,在发布弹窗内进行配置:

    • 生效环境:勾选生产开发

    • 自动落标:勾选

    其余配置项保持默认即可,在配置完成后,单击发布,对建模表进行发布。

    image

查看质量规则

自动落标生成规则

单击顶部的image质量规则,进入数据落标页面,即可查看到自动落标生成的质量规则,在数据落标页面单击生成质量规则,即可一键自动生成对应的质量规则。image

手动配置生成规则

单击配置监控按钮,进入数据质量 > 规则配置 > 按表配置 > 规则管理中,单击新建规则按钮,进行新建规则,详情可参见配置规则:按表(单表)

image

生成质量监控

配置完质量规则后,在规则列表页面,单击规则列表的ID/规则名称列内的规则名称,进入规则配置 > 按表配置 > 质量监控中,单击新建质量监控,进行新建质量监控配置,详情配置如下:

模块

配置项

配置内容

图示

基本配置

质量监控名称

自定义质量监控名称。

image

数据范围

按监控对象默认的表类型生成数据范围,当监控对象为分区表时,数据范围默认为按分区设置范围,可按照分区圈选范围,例如:ds=$[yyyymmdd-1]

运行设置

触发方式

可选择:

  • 生产调度触发

  • 手动触发

image

关联调度节点(生产调度触发)

单击添加节点后,选择需要创建质量监控的空间与节点。

说明

通过DataWork运维中心中,关联指定的周期调度任务,节点运行完成后,自动触发该质量监控下的质量规则

运行资源选择

执行质量规则检测所需的运行资源,默认选择该工作空间下监控表所属数据源。如选取其他数据源,需确认对应资源可对该表进行访问。

质量问题处理策略

问题策略

保持默认即可

image

选择质量规则

单击批量选择后,在面板内可根据ID/规则名称规则模板关联范围来圈选需要配置质量监控的质量规则。

image

说明

配置完成的质量监控可在质量运维 > 质量监控中查看配置的质量监控最近一次的运行记录和修改告警订阅的订阅方式与接收对象。

重要

若生成质量规则后,启用执行规则,则需注意数据质量规则的运行费用,计费详情请参见:数据质量计费说明

修改/删除落标规则

  1. 数据建模侧修改/删除落标规则。

    • 通过建模侧字段属性的修改,如修改字段名称,或从非空更改为不要求非空,或更改关联的标准字典规则的方式修改落标规则。

    • 对字段进行删除或新增来进行修改或删除落标规则。

    • 删除表建模来进行修改或删除落标规则。

    说明

    对表建模字段进行的修改或删除,需要进行相应的变动与修改,需单击image重新发布该表。

  2. 数据质量侧修改/删除落标规则。

    • 删除已不存在/不适配的质量规则:如原字段要求非空,已生成非空校验规则,重新发布后不要求非空,则该字段对应落标非空规则需要进行删除。字段删除/模型删除也将进行同样处理。

    • 修改已生成的质量规则属性

      • 如长度校验需要进行长度修改。

      • 标准代码的修改类似处理。