GetDataQualityScan - 获取数据质量监控详情

获取数据质量监控详情。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用前面加 * 表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
dataworks:GetDataQualityScanget
*全部资源
*

请求参数

名称类型必填描述示例值
Idlong

数据质量监控 ID。

10001

返回参数

名称类型描述示例值
object

返回结果。

RequestIdstring

请求 ID。

204EAF68-CCE3-5112-8DA0-E7A60F02XXXX
DataQualityScanobject

数据质量监控详情。

Idlong

数据质量监控 ID。

10001
Namestring

数据质量监控名称。

data_quality_scan_001
Descriptionstring

数据质量监控描述信息。

aily data quality scanning of ods tables.
ProjectIdlong

数据质量监控所在的 DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。

101
CreateTimelong

数据质量监控创建时间。

1731550150000
ModifyTimelong

数据质量监控最近修改时间。

1731550150000
CreateUserstring

数据质量监控创建人用户 ID。

2374924198591250
ModifyUserstring

数据质量监控最近修改人用户 ID。

23482597582479
Ownerstring

数据质量监控负责人用户 ID。

231263586109857423
Specstring

数据质量监控的内容的 Spec 代码,详情请参见数据质量 Spec 配置说明

{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parametersarray<object>

数据质量监控执行参数定义。

Parameterobject

参数信息。

Valuestring

参数名。

10
Namestring

参数值。

e2e_autolabel
ComputeResourceobject

数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。

Namestring

计算引擎名字,唯一标识。

polardb_to_holo
Runtimeobject

数据质量监控在运行时的更多设置。

Enginestring

使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。取值范围:

  • Hive:Hive SQL
  • Spark:Spark SQL
  • Kyuubi
Hive
HiveConfobject

使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。

mapreduce.job.queuename=dq_queue
SparkConfobject

使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。

spark.yarn.queue=dq_queue
EnvTypestring

计算引擎所属的工作空间环境。取值范围:

  • Prod:生产环境
  • Dev:开发环境
Prod
RuntimeResourceobject

数据质量监控运行时,使用的资源组。

Idstring

资源组 ID。

122878
Cufloat

资源组预留 CU。

10
Imagestring

运行配置的镜像 ID。

hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008
Triggerobject

数据质量监控触发配置。

Typestring

数据质量监控触发方式。取值范围:

  • ByManual:手动触发,默认设置
  • BySchedule:调度任务实例触发
BySchedule
TaskIdsarray

当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。

TaskIdlong

调度任务 ID。

1023777390
Hooksarray<object>

数据质量监控运行结束后的 Hook 配置。

Hookobject

数据质量监控运行结束后的 Hook 配置。

Conditionstring

Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法:

  • 指定多组规则严重类型和规则校验状态,如results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' },代表执行的规则中,如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn,则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。
results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }
Typestring

Hook 类型。取值范围:

  • BlockTaskInstance:阻塞任务实例调度
BlockTaskInstance

示例

正常返回示例

JSON格式

{
  "RequestId": "204EAF68-CCE3-5112-8DA0-E7A60F02XXXX",
  "DataQualityScan": {
    "Id": 10001,
    "Name": "data_quality_scan_001",
    "Description": "aily data quality scanning of ods tables.",
    "ProjectId": 101,
    "CreateTime": 1731550150000,
    "ModifyTime": 1731550150000,
    "CreateUser": 2374924198591250,
    "ModifyUser": 23482597582479,
    "Owner": 231263586109857400,
    "Spec": {
      "datasets": [
        {
          "type": "Table",
          "dataSource": {
            "name": "odps_first",
            "envType": "Prod"
          },
          "tables": [
            "ods_d_user_info"
          ],
          "filter": "pt = $[yyyymmdd-1]"
        }
      ],
      "rules": [
        {
          "assertion": "row_count > 0"
        },
        {
          "templateId": "SYSTEM:field:null_value:fixed",
          "pass": "when = 0",
          "name": "The id cannot be empty.",
          "severity": "High",
          "identity": "a-customized-data-quality-rule-uuid"
        }
      ]
    },
    "Parameters": [
      {
        "Value": 10,
        "Name": "e2e_autolabel"
      }
    ],
    "ComputeResource": {
      "Name": "polardb_to_holo",
      "Runtime": {
        "Engine": "Hive",
        "HiveConf": {
          "test": "test",
          "test2": 1
        },
        "SparkConf": {
          "test": "test",
          "test2": 1
        }
      },
      "EnvType": "Prod"
    },
    "RuntimeResource": {
      "Id": 122878,
      "Cu": 10,
      "Image": "hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008"
    },
    "Trigger": {
      "Type": "BySchedule",
      "TaskIds": [
        1023777390
      ]
    },
    "Hooks": [
      {
        "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
        "Type": "BlockTaskInstance"
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。