CreateDataQualityScan - 创建数据质量监控

创建数据质量监控。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
Descriptionstring

数据质量监控描述信息。

Daily data quality scanning of ods tables.
ProjectIdlong

DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台,进入工作空间配置页面获取工作空间 ID。需要用该参数来确定本次 API 调用操作的 DataWorks 工作空间。

101
Ownerstring

数据质量监控负责人用户 ID。

95279527****
Specstring

数据质量监控的内容的 Spec 代码,详情请参见数据质量 Spec 配置说明

{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parametersarray<object>

数据质量监控执行参数定义。

object

数据质量监控执行参数定义。

Valuestring

参数值。

$[yyyymmdd-1]
Namestring

参数名。

triggerTime
RuntimeResourceobject

数据质量监控运行时,使用的资源组。

Idstring

资源组 ID。

0525242e-d0ee-4bda-bc73-765d82f6a34a
Cufloat

运行配置 CU 消耗。

0.25
Imagestring

运行配置的镜像 ID。

i-xxxxxx
ComputeResourceobject

数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。

Namestring

计算引擎名字,唯一标识。

emr_first
Runtimeobject

数据质量监控在运行时的更多设置。

Enginestring

使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。 取值范围:

  • Hive:Hive SQL
  • Spark:Spark SQL
  • Kyuubi
Hive
SparkConfobject

使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。

spark.yarn.queue=dq_queue
HiveConfobject

使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。

mapreduce.job.queuename=dq_queue
EnvTypestring

计算引擎所属的工作空间环境。取值范围:

  • Prod:生产环境
  • Dev:开发环境
Dev
Triggerobject

数据质量监控触发设置。

Typestring

数据质量监控触发方式。取值范围:

  • ByManual:手动触发,默认设置
  • BySchedule:调度任务实例触发
BySchedule
TaskIdsarray

当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。

long

调度任务 ID。

1004979033
Hooksarray<object>

数据质量监控运行结束后的 Hook 配置。

object

数据质量监控运行结束后的 Hook 配置。

Conditionstring

Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法:

指定多组规则严重类型和规则校验状态,如results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' },代表执行的规则中,如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn,则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。

results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }
Typestring

Hook 类型。取值范围:

  • BlockTaskInstance:阻塞任务实例调度
BlockTaskInstance
Namestring

数据质量监控名称。

data_quality_scan_001
ClientTokenstring

幂等参数。

a-customized-uuid

返回参数

名称类型描述示例值
object

返回结果。

RequestIdstring

请求 ID。

0000-ABCD-EFG****
Idlong

返回创建的数据源分享规则 ID,数据源分享规则的唯一标识符。

676303114031776

示例

正常返回示例

JSON格式

{
  "RequestId": "0000-ABCD-EFG****",
  "Id": 676303114031776
}

错误码

访问错误中心查看更多错误码。