GetDataQualityScan获取数据质量监控详情-大数据开发治理平台 DataWorks-阿里云-大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

获取数据质量监控详情

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

dataworks:GetDataQualityScan

get

*全部资源

*

无

请求语法

POST  HTTP/1.1

请求参数

名称	类型	必填	描述	示例值
Id	integer	否	数据质量监控 ID。	10001

返回参数

名称	类型	描述	示例值
	object	返回结果。
RequestId	string	请求 ID。	204EAF68-CCE3-5112-8DA0-E7A60F02XXXX
DataQualityScan	object	数据质量监控详情。
Id	integer	数据质量监控 ID。	10001
Name	string	数据质量监控名称。	data_quality_scan_001
Description	string	数据质量监控描述信息。	aily data quality scanning of ods tables.
ProjectId	integer	数据质量监控所在的 DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。	101
CreateTime	integer	数据质量监控创建时间。	1731550150000
ModifyTime	integer	数据质量监控最近修改时间。	1731550150000
CreateUser	string	数据质量监控创建人用户 ID。	2374924198591250
ModifyUser	string	数据质量监控最近修改人用户 ID。	23482597582479
Owner	string	数据质量监控负责人用户 ID。	231263586109857423
Spec	string	数据质量监控的内容的 Spec 代码，详情请参见数据质量 Spec 配置说明。	{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parameters	array<object>	数据质量监控执行参数定义。
	object	参数信息。
Value	string	参数名。	10
Name	string	参数值。	e2e_autolabel
ComputeResource	object	数据质量监控在运行时使用的计算引擎，可空，如果没有指定，则使用 Spec 中所指定的数据源连接。
Name	string	计算引擎名字，唯一标识。	polardb_to_holo
Runtime	object	数据质量监控在运行时的更多设置。
Engine	string	使用的引擎类型，只有 EMR 计算引擎支持设置这部分内容。取值范围： Hive：Hive SQL Spark：Spark SQL Kyuubi	Hive
HiveConf	object	使用 Hive 引擎时，更多的参数设置，目前只支持通过 mapreduce.job.queuename 设置队列。	mapreduce.job.queuename=dq_queue
SparkConf	object	使用 Spark 引擎时，更多的参数设置，目前只支持通过 spark.yarn.queue 设置队列。	spark.yarn.queue=dq_queue
EnvType	string	计算引擎所属的工作空间环境。取值范围： Prod：生产环境 Dev：开发环境	Prod
RuntimeResource	object	数据质量监控运行时，使用的资源组。
Id	string	资源组 ID。	122878
Cu	number	资源组预留 CU。	10
Image	string	运行配置的镜像 ID。	hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008
Trigger	object	数据质量监控触发配置。
Type	string	数据质量监控触发方式。取值范围： ByManual：手动触发，默认设置 BySchedule：调度任务实例触发	BySchedule
TaskIds	array	当触发方式为 BySchedule 时，需要配置触发质量监控的调度任务 ID。
	integer	调度任务 ID。	1023777390
Hooks	array<object>	数据质量监控运行结束后的 Hook 配置。
	object	数据质量监控运行结束后的 Hook 配置。
Condition	string	Hook 触发条件，当满足这个条件时，会触发 Hook 运行。目前只支持一种表达式写法：指定多组规则严重类型和规则校验状态，如`results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }`，代表执行的规则中，如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn，则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。	results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }
Type	string	Hook 类型。取值范围： BlockTaskInstance：阻塞任务实例调度	BlockTaskInstance

示例

正常返回示例

JSON格式

{
  "RequestId": "204EAF68-CCE3-5112-8DA0-E7A60F02XXXX",
  "DataQualityScan": {
    "Id": 10001,
    "Name": "data_quality_scan_001",
    "Description": "aily data quality scanning of ods tables.",
    "ProjectId": 101,
    "CreateTime": 1731550150000,
    "ModifyTime": 1731550150000,
    "CreateUser": "2374924198591250",
    "ModifyUser": "23482597582479",
    "Owner": "231263586109857423",
    "Spec": "{\n    \"datasets\": [\n        {\n            \"type\": \"Table\",\n            \"dataSource\": {\n                \"name\": \"odps_first\",\n                \"envType\": \"Prod\"\n            },\n            \"tables\": [\n                \"ods_d_user_info\"\n            ],\n            \"filter\": \"pt = $[yyyymmdd-1]\"\n        }\n    ],\n    \"rules\": [\n        {\n            \"assertion\": \"row_count > 0\"\n        }, {\n            \"templateId\": \"SYSTEM:field:null_value:fixed\",\n            \"pass\": \"when = 0\",\n            \"name\": \"The id cannot be empty.\",\n            \"severity\": \"High\",\n             \"identity\": \"a-customized-data-quality-rule-uuid\"\n        }\n    ]\n}",
    "Parameters": [
      {
        "Value": "10",
        "Name": "e2e_autolabel"
      }
    ],
    "ComputeResource": {
      "Name": "polardb_to_holo",
      "Runtime": {
        "Engine": "Hive",
        "HiveConf": {
          "test": "test",
          "test2": 1
        },
        "SparkConf": {
          "test": "test",
          "test2": 1
        }
      },
      "EnvType": "Prod"
    },
    "RuntimeResource": {
      "Id": "122878",
      "Cu": 10,
      "Image": "hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008"
    },
    "Trigger": {
      "Type": "BySchedule",
      "TaskIds": [
        1023777390
      ]
    },
    "Hooks": [
      {
        "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
        "Type": "BlockTaskInstance"
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。