DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。本文将为您介绍如何新建自定义规则模板,以及如何操作自定义规则模板。
前提条件
您需要购买DataWorks企业版及以上版本,才可以使用规则模板库功能。
背景信息
您可以通过规则模板库新建规则模板。新建成功后,即可操作和应用规则模板。
注意事项
自定义规则的变更操作仅对变更后引用该规则的任务生效,不会修改存量(现有)任务的自定义规则设置。
新建自定义规则模板
进入数据质量页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据质量。
在左侧导航栏,单击
。单击
图标,选择新建文件夹。
在新建文件夹对话框中,输入名称并选择目标文件夹,然后单击确定。
在左侧目录右键单击相应的文件夹名称,选择新建规则模板。
您也可以重命名和删除相应的文件夹。
在新建规则模板对话框,配置各项参数。
参数
描述
参数
描述
模板名称
请输入自定义的模板名称。
规则字段
目前仅支持自定义SQL。
采样方式
目前仅支持自定义SQL。
Set Flag
请输入SQL的前置
set
语句。多条语句之间使用英文逗号(,)分隔,语句末尾无需添加分号(;)。
校验类型
目前支持数值型和波动率型。
校验方式
选择不同的校验类型,对应不同的校验方式:
如果选择的校验类型为数值型,目前校验方式仅支持与固定值比较。
仅可以返回经过count、sum等运算后的一个值,与固定值比较。
如果选择的校验类型为波动率型,则校验方式包括:
7天平均值波动
30天平均值波动
1天周期比较
7天周期比较
30天周期比较
7天方差波动
30天方差波动
1,7,30天波动检测
上一周期比较。
自定义SQL
请输入自定义的SQL语句,您可以使用${tableName}表示表名。
自定义SQL的采集结果需要是一个值(一行一列的形式),这样才能跟固定值做比较。
目标文件夹
选择该自定义规则模板需要存放的文件夹名称。
单击确定。
操作规则模板
单击相应规则模板的名称,即可查看、编辑、删除和复制该规则模板。
操作 | 描述 |
操作 | 描述 |
查看 | 您可以查看相应规则模板的参数配置、应用列表和日志:
|
编辑 | 单击右上角的编辑,在编辑规则模板对话框中修改相应的参数,单击确认。 |
删除 | 单击右上角的删除,在删除模板对话框中,单击确认。 |
复制 | 单击右上角的复制,在复制规则模板对话框中,输入模板名称并选择目标文件夹,单击确认。 |
应用自定义规则模板
您可以在添加监控规则时,选择和使用创建的自定义规则模板。
进入数据质量页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据质量。
进入按表配置监控规则。
在左侧导航栏,单击
,进入按表配置规则页面。左侧数据源列表按需选择待配置规则的表所在的数据库。
根据数据库类型、数据库、表名等条件筛选,单击目标表名或操作列的监控配置,进入该表的表质量详情页。
该页面展示了当前表所有已配置的质量规则,您可通过规则是否已关联质量监控来快速过滤目标规则,并对未关联质量监控的规则定义规则运行方式。
在表质量详情页的规则管理页签,单击新建规则,进入规则配置页面。
通过自定义规则模板创建数据质量规则。
引用自定义模板时,将自动显示该模板的基本配置(例如Flag参数,校验SQL)等,您可以自定义规则名称,并按照规则类型,配置监控阈值(例如数值型规则需要定义正常阈值、红色阈值,此外,波动型规则还需要定义橙色阈值。)
各参数解释,详见新建自定义规则模板。
单击确定。
相关文档
您可以在按表配置规则时,应用自定义规则模板。更多信息,请参见配置规则:按表(单表)。
- 本页导读 (1)
- 前提条件
- 背景信息
- 注意事项
- 新建自定义规则模板
- 操作规则模板
- 应用自定义规则模板
- 相关文档