AI 助理
备案控制台
文档
输入文档关键字查找
首页 大数据开发治理平台 DataWorks 开发参考 API参考（2024-05-18） API目录 数据质量 质量规则 CreateDataQualityRule - 创建质量规则

CreateDataQualityRule - 创建质量规则

更新时间：
产品详情
我的收藏

创建质量规则

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
Namestring是

规则名称

表不能为空
ProjectIdlong是

DataWorks 工作空间 ID

10726
Enabledboolean否

质量规则是否启用

true
Severitystring否

规则对于业务的等级（对应页面上的强弱规则），可选的枚举值：

  • Normal
  • High
Normal
Descriptionstring否

规则描述信息，最长 500 个字符

this is a odps _sql task
Targetobject否

规则所监控的对象

Typestring否

监控对象类型

  • Table
Table
DatabaseTypestring否

表类型的数据集，表所属的数据库类型

  • maxcompute
  • emr
  • cdh
  • hologres
  • analyticdb_for_postgresql
  • analyticdb_for_mysql
  • starrocks
maxcompute
TableGuidstring是

规则所作用的表在数据地图中的唯一 ID

odps.unit_test.tb_unit_test
PartitionSpecstring否

分区表的分区设置

ds=$[yyyymmdd-1]
TemplateCodestring否

规则所引用的规则模板唯一标识

system::user_defined
SamplingConfigobject否

样本采集所需的设置

Metricstring否

采样的指标名称，使用模版时可不设置

  • Count：表行数
  • Min：字段最小值
  • Max：字段最大值
  • Avg：字段均值
  • DistinctCount：字段唯一值个数
  • DistinctPercent：字段唯一值个数与数据行数占比
  • DuplicatedCount：字段重复值个数
  • DuplicatedPercent：字段重复值个数与数据行数占比
  • TableSize：表大小
  • NullValueCount：字段为空的行数
  • NullValuePercent：字段为空的比例
  • GroupCount：按字段值聚合后每个值与对应的数据行数
  • CountNotIn：枚举值不匹配行数
  • CountDistinctNotIn：枚举值不匹配唯一值个数
  • UserDefinedSql：通过自定义 SQL 做样本采集
Count
MetricParametersstring否

样本采集时，所需的参数

{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfigstring否

具体执行采样语句前，插入执行的一些运行时参数设置语句，最长 1000 个字符。目前只支持 MaxCompute

SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;
SamplingFilterstring否

采样时，对不关注的数据进行二次过滤的条件，最多 16777215 个字符

id IS NULL
CheckingConfigobject否

样本校验设置

Typestring否

阈值计算方式，使用模版时可不设置

  • Fixed
  • Fluctation
  • FluctationDiscreate
  • Auto
  • Average
  • Variance
Fixed
ReferencedSamplesFilterstring否

有些类型的阈值需要查询出一些参考样本，然后对参考样本的值进行汇总得出进行比较的阈值，这里使用一个表达式来表示参考样本的查询方式

{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholdsobject否

阈值设置

Expectedobject否

期望的阈值设置

Operatorstring否

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

$checkValue <= 0.01
Warnedobject否

普通警告的阈值设置

Operatorstring否

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

$checkValue > 0.01
Criticalobject否

严重警告的阈值设置

Operatorstring否

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring否

阈值数值

100.0
Expressionstring否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如：

  • 波动上升大于 0.01： $checkValue > 0.01
  • 波动下降大于 0.01：$checkValue < -0.01
  • 波动率绝对值：abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

$checkValue > 0.05
ErrorHandlersarray<object>否

质量规则校验问题处理器列表

object否

质量规则校验问题处理器

Typestring否

处理器类型：

  • SaveErrorData
SaveErrorData
ErrorDataFilterstring否

如果是自定义 SQL 规则，需要用户指定 SQL 来过滤问题数据

SELECT * FROM tb_api_log WHERE id IS NULL

返回参数

名称类型描述示例值
object

返回值

RequestIdstring

API 请求 ID

691CA452-D37A-4ED0-9441
Idlong

规则 ID。

19715

示例

正常返回示例

JSON格式

{
  "RequestId": "691CA452-D37A-4ED0-9441\n",
  "Id": 19715
}

错误码

访问错误中心查看更多错误码。

规则模版 Code 列表：

  • 自定义 SQL：SYSTEM:user_defined_sql

  • 表行数大于 0：SYSTEM:table:table_count:fixed:0

  • 表行数，固定值：SYSTEM:table:table_count:fixed

  • 表行数，1 天差值：SYSTEM:table:table_count_delta:fixed:1_bizdate

  • 表行数，上周期差值：SYSTEM:table:table_count_delta:fixed:latest_bizdate

  • 表行数，上周期波动率：SYSTEM:table:table_count:cycle:latest_bizdate

  • 表行数，7 天平均值波动率：SYSTEM:table:table_count:avg:7_bizdate

  • 表行数，30 天平均值波动率：SYSTEM:table:table_count:avg:1m_bizdate

  • 表行数，1 天波动率：SYSTEM:table:table_count:flux:1_bizdate

  • 表行数，7 天波动率：SYSTEM:table:table_count:flux:7_bizdate

  • 表行数，30 天波动率：SYSTEM:table:table_count:flux:1m_bizdate

  • 表行数，1，7，30 天波动率：SYSTEM:table:table_count:flux:1_7_1m_bizdate

  • 表行数，1，7，30 天，本月 1 号，波动率：SYSTEM:table:table_count:flux:1_7_1m_1st_bizdate

  • 表行数，自定义范围：SYSTEM:table:count

  • 条件匹配占比，自定义范围：SYSTEM:table:count_percent

  • 平均值，1 天波动率：SYSTEM:field:avg:cycle:1_bizdate

  • 平均值，1、7、30 天波动率：SYSTEM:field:avg:flux:1_7_1m_bizdate

  • 平均值，自定义范围：SYSTEM:field:avg

  • 汇总值，1 天波动率：SYSTEM:field:sum:cycle:1_bizdate

  • 汇总值，上周期波动率：SYSTEM:field:sum:cycle:latest_bizdate

  • 汇总值，1、7、30 天波动率：SYSTEM:field:sum:flux:1_7_1m_bizdate

  • 汇总值，自定义范围：SYSTEM:field:sum

  • 最小值，1 天波动率：SYSTEM:field:min:cycle:1_bizdate

  • 最小值，上周期波动率：SYSTEM:field:min:cycle:latest_bizdate

  • 最小值，1、7、30 天波动率：SYSTEM:field:min:flux:1_7_1m_bizdate

  • 最小值，自定义范围：SYSTEM:field:min

  • 最大值，1 天波动率：SYSTEM:field:max:cycle:1_bizdate

  • 最大值，上周期波动率：SYSTEM:field:max:cycle:latest_bizdate

  • 最大值，1、7、30 天波动率：SYSTEM:field:max:flux:1_7_1m_bizdate

  • 最大值，自定义范围：SYSTEM:field:max

  • 空值记录数为 0：SYSTEM:field:null_value:fixed:0

  • 空值个数，固定值：SYSTEM:field:null_value:fixed

  • 空值个数/总行数，固定值：SYSTEM:field:null_value_percent:fixed

  • 字段重复值为 0：SYSTEM:field:duplicated_count:fixed:0

  • 重复值个数/总行数，固定值：SYSTEM:field:duplicated_percent:fixed

  • 重复值个数，固定值：YSTEM:field:duplicated_count:fixed

  • 多字段重复值为 0：SYSTEM:fields:duplicated_count:fixed:0

  • 离散值（状态值），固定值：SYSTEM:field:all_discrete_count:fixed

  • 离散值（分组个数及状态值），1、7、30 天波动率：SYSTEM:field:all_discrete_metrics:fluxdiscrete:1_7_1m_bizdate

  • 离散值（分组个数），固定值：SYSTEM:field:discrete_group_count:fixed

  • 离散值（分组个数），1 天波动率：SYSTEM:field:discrete_group_count:cycle:latest_bizdate

  • 表大小，固定值：SYSTEM:table:table_size:fixed

  • 表大小，上周期差值：SYSTEM:table:table_size_delta:fixed:latest_bizdate

  • 表大小，相比 1 天前差值(字节)：SYSTEM:table:table_size_delta:fixed:1_bizdate

  • 表大小，1 天波动率：SYSTEM:table:table_size:flux:1_bizdate

  • 表大小，7 天波动率：SYSTEM:table:table_size:flux:7_bizdate

  • 表大小，30 天波动率：SYSTEM:table:table_size:flux:1m_bizdate

  • 唯一值个数，固定值：SYSTEM:field:count_distinct:fixed

  • 唯一值个数，1、7、30 天波动率：SYSTEM:field:count_distinct:flux:1_7_1m_bizdate

  • 唯一值个数/总行数，固定值：SYSTEM:field:count_distinct_percent:fixed

  • 表行数，动态阈值：SYSTEM:table:table_count:dynamic_threshold

  • 汇总值，动态阈值：SYSTEM:field:sum:dynamic_threshold

  • 平均值，动态阈值：SYSTEM:field:avg:dynamic_threshold

  • 最大值，动态阈值：SYSTEM:field:max:dynamic_threshold

  • 最小值，动态阈值：SYSTEM:field:min:dynamic_threshold

  • 唯一值率动态阈值：SYSTEM:table:table_size:dynamic_threshold

  • 唯一值个数，动态阈值：SYSTEM:table:distinct_count:dynamic_threshold

  • 离散值（分组个数），动态阈值：SYSTEM:field:avg:dynamic_threshold

  • 离散值（状态值），动态阈值：SYSTEM:field:sum:dynamic_threshold

  • 离散值（分组个数），动态阈值：SYSTEM:field:discrete_group_count:dynamic_threshold

  • 离散值（状态值），动态阈值：SYSTEM:field:discrete_value_count:dynamic_threshold
上一篇：质量规则下一篇：GetDataQualityRule - 查询质量规则详情
文档推荐