AI 助理
备案控制台
官方文档
输入文档关键字查找
首页 大数据开发治理平台 DataWorks 开发参考 API参考（2024-05-18） API目录 数据质量 质量规则 CreateDataQualityRule - 创建质量规则

CreateDataQualityRule - 创建质量规则

更新时间：
产品详情
我的收藏

创建质量规则。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
Namestring是

规则名称。

The table cannot be empty.
ProjectIdlong是

DataWorks 工作空间 ID。

10726
Enabledboolean否

质量规则是否启用。

true
Severitystring否

规则对于业务的等级（对应页面上的强弱规则），可选的枚举值：

  • Normal
  • High
Normal
Descriptionstring否

规则描述信息，最长 500 个字符。

this is a odps _sql task
Targetobject是

规则所监控的对象。

Typestring否

监控对象类型。

  • Table
Table
DatabaseTypestring是

表类型的数据集，表所属的数据库类型。

  • maxcompute
  • emr
  • cdh
  • hologres
  • analyticdb_for_postgresql
  • analyticdb_for_mysql
  • starrocks
maxcompute
TableGuidstring是

规则所作用的表在数据地图中的唯一 ID。

odps.unit_test.tb_unit_test
PartitionSpecstring否

分区表的分区设置。

ds=$[yyyymmdd-1]
TemplateCodestring是

规则所引用的规则模板唯一标识。

SYSTEM:table:table_count:fixed
SamplingConfigobject否

样本采集所需的设置。

Metricstring否

采样的指标名称，使用模版时可不设置。

  • Count：表行数
  • Min：字段最小值
  • Max：字段最大值
  • Avg：字段均值
  • DistinctCount：字段唯一值个数
  • DistinctPercent：字段唯一值个数与数据行数占比
  • DuplicatedCount：字段重复值个数
  • DuplicatedPercent：字段重复值个数与数据行数占比
  • TableSize：表大小
  • NullValueCount：字段为空的行数
  • NullValuePercent：字段为空的比例
  • GroupCount：按字段值聚合后每个值与对应的数据行数
  • CountNotIn：枚举值不匹配行数
  • CountDistinctNotIn：枚举值不匹配唯一值个数
  • UserDefinedSql：通过自定义 SQL 做样本采集
Count
MetricParametersstring否

样本采集时，所需的参数。

{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfigstring否

具体执行采样语句前，插入执行的一些运行时参数设置语句，最长 1000 个字符。目前只支持 MaxCompute。

SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;
SamplingFilterstring否

采样时，对不关注的数据进行二次过滤的条件，最多 16777215 个字符。

id IS NULL
CheckingConfigobject否

样本校验设置。

Typestring否

阈值计算方式，使用模版时可不设置。

  • Fixed
  • Fluctation
  • FluctationDiscreate
  • Auto
  • Average
  • Variance
Fixed
ReferencedSamplesFilterstring否

有些类型的阈值需要查询出一些参考样本，然后对参考样本的值进行汇总得出进行比较的阈值，这里使用一个表达式来表示参考样本的查询方式。

{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholdsobject否

阈值设置。

Expectedobject否

期望的阈值设置。

Operatorstring否

比较符：

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值。

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。

$checkValue <= 0.01
Warnedobject否

普通警告的阈值设置。

Operatorstring否

比较符：

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值。

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。

$checkValue > 0.01
Criticalobject否

严重警告的阈值设置。

Operatorstring否

比较符：

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值。

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。

$checkValue > 0.05
ErrorHandlersarray<object>否

质量规则校验问题处理器列表。

object否

质量规则校验问题处理器。

Typestring否

处理器类型：

  • SaveErrorData
SaveErrorData
ErrorDataFilterstring否

如果是自定义 SQL 规则，需要用户指定 SQL 来过滤问题数据。

SELECT * FROM tb_api_log WHERE id IS NULL

返回参数

名称类型描述示例值
object

返回值。

RequestIdstring

API 请求 ID。

691CA452-D37A-4ED0-9441
Idlong

规则 ID。

19715

示例

正常返回示例

JSON格式

{
  "RequestId": "691CA452-D37A-4ED0-9441\n",
  "Id": 19715
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-12-23API 内部配置变更，不影响调用查看变更详情

规则模版 Code 列表：

  • 自定义 SQL：SYSTEM:user_defined_sql

  • 表行数大于 0：SYSTEM:table:table_count:fixed:0

  • 表行数，固定值：SYSTEM:table:table_count:fixed

  • 表行数，1 天差值：SYSTEM:table:table_count_delta:fixed:1_bizdate

  • 表行数，上周期差值：SYSTEM:table:table_count_delta:fixed:latest_bizdate

  • 表行数，上周期波动率：SYSTEM:table:table_count:cycle:latest_bizdate

  • 表行数，7 天平均值波动率：SYSTEM:table:table_count:avg:7_bizdate

  • 表行数，30 天平均值波动率：SYSTEM:table:table_count:avg:1m_bizdate

  • 表行数，1 天波动率：SYSTEM:table:table_count:flux:1_bizdate

  • 表行数，7 天波动率：SYSTEM:table:table_count:flux:7_bizdate

  • 表行数，30 天波动率：SYSTEM:table:table_count:flux:1m_bizdate

  • 表行数，1，7，30 天波动率：SYSTEM:table:table_count:flux:1_7_1m_bizdate

  • 表行数，1，7，30 天，本月 1 号，波动率：SYSTEM:table:table_count:flux:1_7_1m_1st_bizdate

  • 表行数，自定义范围：SYSTEM:table:count

  • 条件匹配占比，自定义范围：SYSTEM:table:count_percent

  • 平均值，1 天波动率：SYSTEM:field:avg:cycle:1_bizdate

  • 平均值，1、7、30 天波动率：SYSTEM:field:avg:flux:1_7_1m_bizdate

  • 平均值，自定义范围：SYSTEM:field:avg

  • 汇总值，1 天波动率：SYSTEM:field:sum:cycle:1_bizdate

  • 汇总值，上周期波动率：SYSTEM:field:sum:cycle:latest_bizdate

  • 汇总值，1、7、30 天波动率：SYSTEM:field:sum:flux:1_7_1m_bizdate

  • 汇总值，自定义范围：SYSTEM:field:sum

  • 最小值，1 天波动率：SYSTEM:field:min:cycle:1_bizdate

  • 最小值，上周期波动率：SYSTEM:field:min:cycle:latest_bizdate

  • 最小值，1、7、30 天波动率：SYSTEM:field:min:flux:1_7_1m_bizdate

  • 最小值，自定义范围：SYSTEM:field:min

  • 最大值，1 天波动率：SYSTEM:field:max:cycle:1_bizdate

  • 最大值，上周期波动率：SYSTEM:field:max:cycle:latest_bizdate

  • 最大值，1、7、30 天波动率：SYSTEM:field:max:flux:1_7_1m_bizdate

  • 最大值，自定义范围：SYSTEM:field:max

  • 空值记录数为 0：SYSTEM:field:null_value:fixed:0

  • 空值个数，固定值：SYSTEM:field:null_value:fixed

  • 空值个数/总行数，固定值：SYSTEM:field:null_value_percent:fixed

  • 字段重复值为 0：SYSTEM:field:duplicated_count:fixed:0

  • 重复值个数/总行数，固定值：SYSTEM:field:duplicated_percent:fixed

  • 重复值个数，固定值：YSTEM:field:duplicated_count:fixed

  • 多字段重复值为 0：SYSTEM:fields:duplicated_count:fixed:0

  • 离散值（状态值），固定值：SYSTEM:field:all_discrete_count:fixed

  • 离散值（分组个数及状态值），1、7、30 天波动率：SYSTEM:field:all_discrete_metrics:fluxdiscrete:1_7_1m_bizdate

  • 离散值（分组个数），固定值：SYSTEM:field:discrete_group_count:fixed

  • 离散值（分组个数），1 天波动率：SYSTEM:field:discrete_group_count:cycle:latest_bizdate

  • 表大小，固定值：SYSTEM:table:table_size:fixed

  • 表大小，上周期差值：SYSTEM:table:table_size_delta:fixed:latest_bizdate

  • 表大小，相比 1 天前差值（字节）：SYSTEM:table:table_size_delta:fixed:1_bizdate

  • 表大小，1 天波动率：SYSTEM:table:table_size:flux:1_bizdate

  • 表大小，7 天波动率：SYSTEM:table:table_size:flux:7_bizdate

  • 表大小，30 天波动率：SYSTEM:table:table_size:flux:1m_bizdate

  • 唯一值个数，固定值：SYSTEM:field:count_distinct:fixed

  • 唯一值个数，1、7、30 天波动率：SYSTEM:field:count_distinct:flux:1_7_1m_bizdate

  • 唯一值个数/总行数，固定值：SYSTEM:field:count_distinct_percent:fixed

  • 表行数，动态阈值：SYSTEM:table:table_count:dynamic_threshold

  • 汇总值，动态阈值：SYSTEM:field:sum:dynamic_threshold

  • 平均值，动态阈值：SYSTEM:field:avg:dynamic_threshold

  • 最大值，动态阈值：SYSTEM:field:max:dynamic_threshold

  • 最小值，动态阈值：SYSTEM:field:min:dynamic_threshold

  • 唯一值率动态阈值：SYSTEM:table:table_size:dynamic_threshold

  • 唯一值个数，动态阈值：SYSTEM:table:distinct_count:dynamic_threshold

  • 离散值（分组个数），动态阈值：SYSTEM:field:avg:dynamic_threshold

  • 离散值（状态值），动态阈值：SYSTEM:field:sum:dynamic_threshold

  • 离散值（分组个数），动态阈值：SYSTEM:field:discrete_group_count:dynamic_threshold

  • 离散值（状态值），动态阈值：SYSTEM:field:discrete_value_count:dynamic_threshold
上一篇：质量规则下一篇：GetDataQualityRule - 查询质量规则详情