CreateDataQualityRule - 创建质量规则

更新时间:
复制 MD 格式

创建质量规则。

说明

目前该API接口已标记为弃用,推荐使用替代API:dataworks-public(2024-05-18) - CreateDataQualityScan。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称

类型

必填

描述

示例值

Name

string

是

规则名称。

The table cannot be empty.

ProjectId

integer

是

DataWorks 工作空间 ID。

10726

Enabled

boolean

否

质量规则是否启用。

true

Severity

string

否

规则对于业务的等级(对应页面上的强弱规则),可选的枚举值:

  • Normal

  • High

枚举值:

  • High :

    高

  • Normal :

    普通

Normal

Description

string

否

规则描述信息,最长 500 个字符。

this is a odps _sql task

Target

object

是

规则所监控的对象。

Type

string

否

监控对象类型。

  • Table

Table

DatabaseType

string

是

表类型的数据集,表所属的数据库类型。

  • maxcompute

  • emr

  • cdh

  • hologres

  • analyticdb_for_postgresql

  • analyticdb_for_mysql

  • starrocks

maxcompute

TableGuid

string

是

规则所作用的表在数据地图中的唯一 ID。

odps.unit_test.tb_unit_test

PartitionSpec

string

否

分区表的分区设置。

ds=$[yyyymmdd-1]

TemplateCode

string

是

规则所引用的规则模板唯一标识。

SYSTEM:table:table_count:fixed

SamplingConfig

object

否

样本采集所需的设置。

Metric

string

否

采样的指标名称,使用模版时可不设置。

  • Count:表行数

  • Min:字段最小值

  • Max:字段最大值

  • Avg:字段均值

  • DistinctCount:字段唯一值个数

  • DistinctPercent:字段唯一值个数与数据行数占比

  • DuplicatedCount:字段重复值个数

  • DuplicatedPercent:字段重复值个数与数据行数占比

  • TableSize:表大小

  • NullValueCount:字段为空的行数

  • NullValuePercent:字段为空的比例

  • GroupCount:按字段值聚合后每个值与对应的数据行数

  • CountNotIn:枚举值不匹配行数

  • CountDistinctNotIn:枚举值不匹配唯一值个数

  • UserDefinedSql:通过自定义 SQL 做样本采集

Count

MetricParameters

string

否

样本采集时,所需的参数。

{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}

SettingConfig

string

否

具体执行采样语句前,插入执行的一些运行时参数设置语句,最长 1000 个字符。目前只支持 MaxCompute。

SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;

SamplingFilter

string

否

采样时,对不关注的数据进行二次过滤的条件,最多 16777215 个字符。

id IS NULL

CheckingConfig

object

否

样本校验设置。

Type

string

否

阈值计算方式,使用模版时可不设置。

  • Fixed

  • Fluctation

  • FluctationDiscreate

  • Auto

  • Average

  • Variance

Fixed

ReferencedSamplesFilter

string

否

有些类型的阈值需要查询出一些参考样本,然后对参考样本的值进行汇总得出进行比较的阈值,这里使用一个表达式来表示参考样本的查询方式。

{ "bizdate": [ "-1", "-7", "-1m" ] }

Thresholds

object

否

阈值设置。

Expected

object

否

期望的阈值设置。

Operator

string

否

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

否

阈值数值。

100.0

Expression

string

否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue <= 0.01

Warned

object

否

普通警告的阈值设置。

Operator

string

否

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

否

阈值数值。

100.0

Expression

string

否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue > 0.01

Critical

object

否

严重警告的阈值设置。

Operator

string

否

比较符:

  • >

  • >=

  • <

  • <=

  • !=

  • =

>

Value

string

否

阈值数值。

100.0

Expression

string

否

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01

  • 波动下降大于 0.01:$checkValue < -0.01

  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value。

$checkValue > 0.05

ErrorHandlers

array<object>

否

质量规则校验问题处理器列表。

object

否

质量规则校验问题处理器。

Type

string

否

处理器类型:

  • SaveErrorData

SaveErrorData

ErrorDataFilter

string

否

如果是自定义 SQL 规则,需要用户指定 SQL 来过滤问题数据。

SELECT * FROM tb_api_log WHERE id IS NULL

返回参数

名称

类型

描述

示例值

object

返回值。

RequestId

string

API 请求 ID。

691CA452-D37A-4ED0-9441

Id

integer

规则 ID。

19715

示例

正常返回示例

JSON格式

{
  "RequestId": "691CA452-D37A-4ED0-9441\n",
  "Id": 19715
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情。