备案控制台

新增逻辑表质量规则

更新时间: 2023-11-21 11:20:36

通过质量规则管理页面，统一管理并设置各个逻辑表质量规则，方便用户查看以及设置所有逻辑表的质量规则。

前提条件

已新建逻辑表，具体操作，请参见通过Excel导入逻辑表、通过云计算资源导入逻辑表或手动新建逻辑表。

背景信息

如果逻辑表字段配置了关联字段标准的值，则在质量规则页面，Lindorm、RDS MySQL、PostgreSQL、AnalyticDB PostgreSQL和PolarDB for PostgreSQL云计算资源类型下，系统会自动生成字段规则并同步显示在质量规则管理页面。
说明
其中MaxCompute和Hive云计算资源类型，则需要创建分区表达式后，系统才会自动生成字段规则。
模型配置完规则会自动开启，在数据开发画布编辑页面引用模型后会自动生成质量检测节点。

步骤一：选择规则类型

登录企业数据智能平台。
在页面左上角，单击图标，选择协同。
在顶部菜单栏，单击图标，选择目标工作组，单击质量评估。
在左侧导航栏，单击质量规则管理。
在质量方案管理页面，单击右上角的新增规则。
在新增规则面板，选择需要配置的规则和云计算资源类型，其中规则分为表规则、字段规则以及自定义SQL规则。
说明
此处规则类型的选择将影响后面配置规则的选项，比如此处选择的是表规则，则后续配置规则的规则是表规则的内容。

步骤二：选择生效逻辑表

在选择生效逻辑表区域，选择作用的逻辑表。
在选择生效逻辑表区域，选择分区。
说明
其中仅当选择的云计算资源类型为MaxCompute、Hive和HiveStorage的时需要选择分区。
- ALL_PARTITIONS：表示选择全部分区。
- 如果逻辑表中，添加了分区字段，则这里可以选择具体的分区值，例如“bank=$[yyyymmdd-1]”，详细操作，请参见步骤二：选择需要配置规则的计算资源以及分区。

步骤三：配置规则

配置表规则

当步骤一：选择规则类型中选择的规则类型为表规则时，执行如下操作。

在配置规则区域框中，选择规则类型，这里以MaxCompute云资源类型的表规则为例介绍。
选择趋势和比较方式以及期望值。
- 强规则：若质量实际结果不满足规则，则该单项数据质量为较差。
- 弱规则：常规规则，如实际结果不满足规则，则该单项数据质量为一般。
（可选）配置高级选项。
说明
- 高级选项仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及质量评估计划执行。
- 目前仅MaxCompute、Hive、AnalyticDB PostgreSQL的资源类型的部分规则显示高级选项。
1. 选择分组字段。
2. 选择时间参数字段。
单击确定。
可查看已经设置好的表规则。

配置字段规则

当步骤一：选择规则类型中选择的规则类型为字段规则时，执行如下操作。

在配置规则区域，选择字段名称。
选择数据类型。
说明
其中各个数据类型的含义：
- 系统统计类：主要从统计学角度设置字段规则，包括最大值、唯一率、重复率等判断字段是否符合要求。
- 数据元类：针对已关联了数据元标准的字段，支持自动生成元数据质量检查标准或自定义选择元数据标准的规则和期望值，包括可选择效验字典、字段类型、字段长度及精度、UDF效验函数。
- 维度类：适用于选择的字段已关联了维度后的规则，包括字段长度和字段值类型的校验。
选择规则类型，并设置关联的字段。
（可选）配置高级选项。
说明
- 高级选项仅用OpenAPI向上层应用提供更精细化的结果数据，不影响数据开发质量节点及质量评估计划执行。
- 目前仅MaxCompute、Hive、AnalyticDB PostgreSQL的资源类型的部分规则显示高级选项。
1. 选择分组字段。
2. 选择时间参数字段。
单击确定。
操作完成后可以查看已创建的字段规则。

配置自定义SQL规则

当步骤一：选择规则类型中选择的规则类型为自定义SQL规则时，执行如下操作。

在配置规则区域，选择规则类型，这里以单表规则为例介绍。
说明
- 单表自定义SQL：通过自定义输入SQL语句，使用单个表的SQL执行结果定义质量规则。
- 多表自定义SQL：通过自定义SQL和关联自定义SQL语句，使用两个表的SQL执行两个结果定义质量规则。
在自定义SQL中输入自定义SQL语句。
选择比较方式并输入期望值。
单击确定。
操作完成后可以查看已创建的自定义SQL规则。

步骤四：设置质量结果触发动作

当需要根据质量结果判断是否需要继续进行时，单击图标，打开阻断生产场景开关，打开后，数据开发场景中开启了该规则，且质量结果不满足期望值时，系统会阻断场景中的任务。若关闭则仅记录质量结果，不影响任务执行。
当需要根据质量结果判断是否需要继续进行时，单击图标，打开保存脏数据样例开关，打开开关后，将保存运行中质量规则的脏数据样例，并支持在日志中进行查看和下载以及通过OpenAPI调用。

相关操作

操作	说明
编辑规则	在规则分类页面，单击目标规则操作列的编辑，可修改编辑规则的具体参数。
启用规则	单个启用：在规则分类页面，单击目标规则启停状态列的开关，启用规则。批量启用：在规则分类页面，选中一个或者多个目标规则，单击左下角的批量操作 > 批量启用。
停用规则	单个停用：在规则分类页面，单击目标规则启停状态列的开关，停用规则。批量停用：在规则分类页面，选中一个或者多个目标规则，单击左下角的批量操作 > 批量停用。
删除规则	单个删除：在规则分类页面，单击目标规则操作列的删除，出现删除提醒，单击确定。批量删除：在规则分类页面，选中一个或者多个需要删除的规则，单击页面左下角的批量操作 > 删除。在对话框中，单击删除，批量删除规则。

后续步骤

配置完质量规则后，需要创建质量检测计划并运行，或者在数据开发的场景画布中引用规则的物理表，更多信息，请参见新建并启用物理表质量检查计划或者引用物理表质量规则。

上一篇: 管理质量规则下一篇: 更新生产场景质量规则