CreateDataQualityRule - 创建质量规则

更新时间:
复制 MD 格式

创建质量规则。

说明

目前该API接口已标记为弃用,推荐使用替代API:dataworks-public(2024-05-18) - CreateDataQualityScan

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称

类型

必填

描述

示例值

Name

string

规则名称。

The table cannot be empty.

ProjectId

integer

DataWorks 工作空间 ID。

10726

Enabled

boolean

质量规则是否启用。

true

Severity

string

规则对于业务的等级(对应页面上的强弱规则),可选的枚举值:

  • Normal

  • High

Normal

Description

string

规则描述信息,最长 500 个字符。

this is a odps _sql task

Target

object

规则所监控的对象。

Type

string

监控对象类型。

  • Table

Table

DatabaseType

string

表类型的数据集,表所属的数据库类型。

  • maxcompute

  • emr

  • cdh

  • hologres

  • analyticdb_for_postgresql

  • analyticdb_for_mysql

  • starrocks

maxcompute

TableGuid

string

规则所作用的表在数据地图中的唯一 ID。

odps.unit_test.tb_unit_test

PartitionSpec

string

分区表的分区设置。

ds=$[yyyymmdd-1]

TemplateCode

string

规则所引用的规则模板唯一标识。

SYSTEM:table:table_count:fixed

SamplingConfig

object

样本采集所需的设置。

Metric

string

采样的指标名称,使用模版时可不设置。

  • Count:表行数

  • Min:字段最小值

  • Max:字段最大值

  • Avg:字段均值

  • DistinctCount:字段唯一值个数

  • DistinctPercent:字段唯一值个数与数据行数占比

  • DuplicatedCount:字段重复值个数

  • DuplicatedPercent:字段重复值个数与数据行数占比

  • TableSize:表大小

  • NullValueCount:字段为空的行数

  • NullValuePercent:字段为空的比例

  • GroupCount:按字段值聚合后每个值与对应的数据行数

  • CountNotIn:枚举值不匹配行数

  • CountDistinctNotIn:枚举值不匹配唯一值个数

  • UserDefinedSql:通过自定义 SQL 做样本采集

Count

MetricParameters

string

样本采集时,所需的参数。

{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}

SettingConfig

string

具体执行采样语句前,插入执行的一些运行时参数设置语句,最长 1000 个字符。目前只支持 MaxCompute。

SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;

SamplingFilter

string

采样时,对不关注的数据进行二次过滤的条件,最多 16777215 个字符。

id IS NULL

CheckingConfig

object

样本校验设置。

Type

string

阈值计算方式,使用模版时可不设置。

  • Fixed

  • Fluctation

  • FluctationDiscreate

  • Auto

  • Average

  • Variance

Fixed

ReferencedSamplesFilter

string

有些类型的阈值需要查询出一些参考样本,然后对参考样本的值进行汇总得出进行比较的阈值,这里使用一个表达式来表示参考样本的查询方式。

{ "bizdate": [ "-1", "-7", "-1m" ] }

Thresholds

object

阈值设置。

Expected

object

期望的阈值设置。

Operator

string

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

阈值数值。

100.0

Expression

string

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue <= 0.01

Warned

object

普通警告的阈值设置。

Operator

string

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

阈值数值。

100.0

Expression

string

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue > 0.01

Critical

object

严重警告的阈值设置。

Operator

string

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

阈值数值。

100.0

Expression

string

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue > 0.05

ErrorHandlers

array<object>

质量规则校验问题处理器列表。

object

质量规则校验问题处理器。

Type

string

处理器类型:

  • SaveErrorData

SaveErrorData

ErrorDataFilter

string

如果是自定义 SQL 规则,需要用户指定 SQL 来过滤问题数据。

SELECT * FROM tb_api_log WHERE id IS NULL

返回参数

名称

类型

描述

示例值

object

返回值。

RequestId

string

API 请求 ID。

691CA452-D37A-4ED0-9441

Id

integer

规则 ID。

19715

示例

正常返回示例

JSON格式

{
  "RequestId": "691CA452-D37A-4ED0-9441\n",
  "Id": 19715
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情