UpdateDataQualityScan - 更新数据质量监控

更新数据质量监控。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
Descriptionstring

数据质量监控描述信息。

Daily data quality scanning of ods tables.
ProjectIdlong

数据质量监控所在的 DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。

101
Idlong

数据质量监控 ID。

10001
Ownerstring

数据质量监控负责人用户 ID。

231263586109857423
Specstring

数据质量监控的内容的 Spec 代码,详情请参见数据质量 Spec 配置说明

{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parametersarray<object>

数据质量监控执行参数定义。

object

参数信息。

Valuestring

参数值。

smtp.qiye.aliyun.com
Namestring

参数名。

temp_237669.zip_byBwm_1734661241752
RuntimeResourceobject

数据质量监控运行时,使用的资源组。

Idstring

资源组 ID。

20315
Cufloat

运行配置 CU 消耗。

0.25
Imagestring

任务运行配置的镜像 ID。

i-xxxxxx
ComputeResourceobject

数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。

Namestring

计算引擎名称,唯一标识。

auto_createAlertRule_Finished_1kUTk6
Runtimeobject

使用计算引擎时的更多设置。

Enginestring

使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。 取值范围:

  • Hive:Hive SQL
  • Spark:Spark SQL
  • Kyuubi
Hive
SparkConfobject

使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。

spark.yarn.queue=dq_queue
HiveConfobject

使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。

mapreduce.job.queuename=dq_queue
EnvTypestring

计算引擎所属的项目环境。取值范围:

  • Prod:生产环境
  • Dev:开发环境
Prod
Triggerobject

数据质量监控触发设置。

Typestring

数据质量监控触发方式。取值范围:

  • ByManual:手动触发,默认设置
  • BySchedule:调度任务实例触发
BySchedule
TaskIdsarray

当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。

long

调度任务 Id。

30001
Hooksarray<object>

数据质量监控运行结束后的 Hook 配置。

object

数据质量监控运行结束后的 Hook 配置。

Conditionstring

Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法:

指定多组规则严重类型和规则校验状态,如results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' },代表执行的规则中,如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn,则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。

results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }
Typestring

Hook 类型。取值范围:

  • BlockTaskInstance:阻塞任务实例调度
BlockTaskInstance
Namestring

数据质量监控名称。

data_quality_scan_001

返回参数

名称类型描述示例值
object

返回结果。

RequestIdstring

请求 ID。

22C97E95-F023-56B5-8852-B1A77A1****
Successboolean

调用是否成功。

true

示例

正常返回示例

JSON格式

{
  "RequestId": "22C97E95-F023-56B5-8852-B1A77A1****",
  "Success": true
}

错误码

访问错误中心查看更多错误码。