创建数据质量监控。
接口说明
需要购买 DataWorks 基础版及以上版本才能使用
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
请求参数
名称 | 类型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
Description | string | 否 | 数据质量监控描述信息。 | Daily data quality scanning of ods tables. |
ProjectId | long | 否 | DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台,进入工作空间配置页面获取工作空间 ID。需要用该参数来确定本次 API 调用操作的 DataWorks 工作空间。 | 101 |
Owner | string | 否 | 数据质量监控负责人用户 ID。 | 95279527**** |
Spec | string | 否 | 数据质量监控的内容的 Spec 代码,详情请参见数据质量 Spec 配置说明。 | { "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] } |
Parameters | array<object> | 否 | 数据质量监控执行参数定义。 | |
object | 否 | 数据质量监控执行参数定义。 | ||
Value | string | 否 | 参数值。 | $[yyyymmdd-1] |
Name | string | 否 | 参数名。 | triggerTime |
RuntimeResource | object | 否 | 数据质量监控运行时,使用的资源组。 | |
Id | string | 否 | 资源组 ID。 | 0525242e-d0ee-4bda-bc73-765d82f6a34a |
Cu | float | 否 | 运行配置 CU 消耗。 | 0.25 |
Image | string | 否 | 运行配置的镜像 ID。 | i-xxxxxx |
ComputeResource | object | 否 | 数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。 | |
Name | string | 否 | 计算引擎名字,唯一标识。 | emr_first |
Runtime | object | 否 | 数据质量监控在运行时的更多设置。 | |
Engine | string | 否 | 使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。 取值范围:
| Hive |
SparkConf | object | 否 | 使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。 | spark.yarn.queue=dq_queue |
HiveConf | object | 否 | 使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。 | mapreduce.job.queuename=dq_queue |
EnvType | string | 否 | 计算引擎所属的工作空间环境。取值范围:
| Dev |
Trigger | object | 否 | 数据质量监控触发设置。 | |
Type | string | 否 | 数据质量监控触发方式。取值范围:
| BySchedule |
TaskIds | array | 否 | 当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。 | |
long | 否 | 调度任务 ID。 | 1004979033 | |
Hooks | array<object> | 否 | 数据质量监控运行结束后的 Hook 配置。 | |
object | 否 | 数据质量监控运行结束后的 Hook 配置。 | ||
Condition | string | 否 | Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法: 指定多组规则严重类型和规则校验状态,如 | results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' } |
Type | string | 否 | Hook 类型。取值范围:
| BlockTaskInstance |
Name | string | 否 | 数据质量监控名称。 | data_quality_scan_001 |
ClientToken | string | 是 | 幂等参数。 | a-customized-uuid |
返回参数
示例
正常返回示例
JSON
格式
{
"RequestId": "0000-ABCD-EFG****",
"Id": 676303114031776
}
错误码
访问错误中心查看更多错误码。