创建数据质量监控。
接口说明
需要购买 DataWorks 基础版及以上版本才能使用
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
请求参数
| 名称 | 类型 | 必填 | 描述 | 示例值 |
|---|---|---|---|---|
| Description | string | 否 | 数据质量监控描述信息。 | Daily data quality scanning of ods tables. |
| ProjectId | long | 否 | DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台,进入工作空间配置页面获取工作空间 ID。需要用该参数来确定本次 API 调用操作的 DataWorks 工作空间。 | 101 |
| Owner | string | 否 | 数据质量监控负责人用户 ID。 | 95279527**** |
| Spec | string | 否 | 数据质量监控的内容的 Spec 代码,详情请参见数据质量 Spec 配置说明。 | { "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] } |
| Parameters | array<object> | 否 | 数据质量监控执行参数定义。 | |
| object | 否 | 数据质量监控执行参数定义。 | ||
| Value | string | 否 | 参数值。 | $[yyyymmdd-1] |
| Name | string | 否 | 参数名。 | triggerTime |
| RuntimeResource | object | 否 | 数据质量监控运行时,使用的资源组。 | |
| Id | string | 否 | 资源组 ID。 | 0525242e-d0ee-4bda-bc73-765d82f6a34a |
| Cu | float | 否 | 运行配置 CU 消耗。 | 0.25 |
| Image | string | 否 | 运行配置的镜像 ID。 | i-xxxxxx |
| ComputeResource | object | 否 | 数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。 | |
| Name | string | 否 | 计算引擎名字,唯一标识。 | emr_first |
| Runtime | object | 否 | 数据质量监控在运行时的更多设置。 | |
| Engine | string | 否 | 使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。 取值范围:
| Hive |
| SparkConf | object | 否 | 使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。 | spark.yarn.queue=dq_queue |
| HiveConf | object | 否 | 使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。 | mapreduce.job.queuename=dq_queue |
| EnvType | string | 否 | 计算引擎所属的工作空间环境。取值范围:
| Dev |
| Trigger | object | 否 | 数据质量监控触发设置。 | |
| Type | string | 否 | 数据质量监控触发方式。取值范围:
| BySchedule |
| TaskIds | array | 否 | 当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。 | |
| long | 否 | 调度任务 ID。 | 1004979033 | |
| Hooks | array<object> | 否 | 数据质量监控运行结束后的 Hook 配置。 | |
| object | 否 | 数据质量监控运行结束后的 Hook 配置。 | ||
| Condition | string | 否 | Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法: 指定多组规则严重类型和规则校验状态,如 | results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' } |
| Type | string | 否 | Hook 类型。取值范围:
| BlockTaskInstance |
| Name | string | 否 | 数据质量监控名称。 | data_quality_scan_001 |
| ClientToken | string | 是 | 幂等参数。 | a-customized-uuid |
返回参数
示例
正常返回示例
JSON格式
{
"RequestId": "0000-ABCD-EFG****",
"Id": 676303114031776
}错误码
访问错误中心查看更多错误码。
