ListDataQualityScans - 数据质量校验任务列表查询

查询指定项目下的数据质量校验任务列表。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用前面加 * 表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
dataworks:ListDataQualityScanslist
*全部资源
*

请求参数

名称类型必填描述示例值
Namestring

模糊匹配数据质量校验任务名称。

test
SortBystring

排序字段列表,支持修改时间、创建时间等字段,格式为"排序字段+排序方式(Desc/Asc)"(默认 Asc,可以省略)。排序字段的枚举值如下:

  • ModifyTime (Desc/Asc)
  • CreateTime (Desc/Asc)
  • Id (Desc/Asc)
ModifyTime Desc
PageSizeinteger

列表翻页大小,默认为 10。

10
PageNumberinteger

列表翻页页码,默认为 1。

1
ProjectIdlong

项目 ID。

10000
Tablestring

模糊匹配监控的表名。

video_album

返回参数

名称类型描述示例值
object

返回结果。

RequestIdstring

请求 ID。

0bc14115***159376359
PageInfoobject

分页信息。

PageNumberinteger

页码。

1
PageSizeinteger

列表翻页大小,默认为 10。

10
TotalCountinteger

总条数。

1
DataQualityScansarray<object>

数据质量监控列表。

DataQualityScanobject

数据质量监控信息。

ModifyTimelong

数据质量监控更新时间。

17236236472
Ownerstring

数据质量监控责任人用户 ID。

23782382795249
Descriptionstring

数据质量校验任务描述,最长 65535 个字符。

This is a hourly run data quality evaluation plan.
ModifyUserstring

数据质量监控最近更新人用户 ID。

23782382795249
Parametersarray<object>

数据质量监控执行参数定义。

Parameterobject

数据质量监控执行参数定义。

Valuestring

参数值。

$[yyyy-mm-dd-1]
Namestring

参数名。

dt
CreateTimelong

数据质量监控创建时间。

1694512304000
ProjectIdlong

项目 ID。

59094
CreateUserstring

数据质量监控创建人。

7892346529452
ComputeResourceobject

数据质量监控在运行时使用的计算引擎,可空,如果没有指定,则使用 Spec 中所指定的数据源连接。

Runtimeobject

数据质量监控在运行时的更多设置。

HiveConfstring

使用 Hive 引擎时,更多的参数设置,目前只支持通过 mapreduce.job.queuename 设置队列。

mapreduce.job.queuename=dq_queue
SparkConfstring

使用 Spark 引擎时,更多的参数设置,目前只支持通过 spark.yarn.queue 设置队列。

spark.yarn.queue=dq_queue
Enginestring

使用的引擎类型,只有 EMR 计算引擎支持设置这部分内容。取值范围:

  • Hive:Hive SQL
  • Spark:Spark SQL
  • Kyuubi
Hive
EnvTypestring

计算引擎所属的工作空间环境。取值范围:

  • Prod:生产环境
  • Dev:开发环境
Prod
Namestring

计算引擎名字,唯一标识。

emr_cluster_001
Namestring

数据质量校验任务名称,数字、英文字母、汉字、半角全角标点符号组合,最长 255 个字符。

Hourly partition quality monitoring
RuntimeResourceobject

数据质量监控运行时,使用的资源组。

Cufloat

任务运行配置 CU 消耗。

0.25
Idstring

资源组 ID。

Serverless_resource_group_xxxxx
Imagestring

任务运行配置的镜像 ID。

i-xxxxx
Triggerobject

数据质量监控触发设置。

Typestring

数据质量监控触发方式。取值范围:

  • ByManual:手动触发,默认设置
  • BySchedule:调度任务实例触发
BySchedule
TaskIdsarray

当触发方式为 BySchedule 时,需要配置触发质量监控的调度任务 ID。

TaskIdlong

调度任务 ID。

1023777390
Hooksarray<object>

数据质量监控运行结束后的 Hook 配置。

Hookobject

数据质量监控运行结束后的 Hook 配置。

Conditionstring

Hook 触发条件,当满足这个条件时,会触发 Hook 运行。目前只支持一种表达式写法:

指定多组规则严重类型和规则校验状态,如results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' },代表执行的规则中,如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn,则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。

results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }
Typestring

Hook 类型。取值范围:

  • BlockTaskInstance:阻塞任务实例调度
BlockTaskInstance
Idlong

数据质量监控 ID。

26433

示例

正常返回示例

JSON格式

{
  "RequestId": "0bc14115***159376359",
  "PageInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 1,
    "DataQualityScans": [
      {
        "ModifyTime": 17236236472,
        "Owner": 23782382795249,
        "Description": "This is a hourly run data quality evaluation plan.",
        "ModifyUser": 23782382795249,
        "Parameters": [
          {
            "Value": "$[yyyy-mm-dd-1]",
            "Name": "dt"
          }
        ],
        "CreateTime": 1694512304000,
        "ProjectId": 59094,
        "CreateUser": 7892346529452,
        "ComputeResource": {
          "Runtime": {
            "HiveConf": "mapreduce.job.queuename=dq_queue",
            "SparkConf": "spark.yarn.queue=dq_queue",
            "Engine": "Hive"
          },
          "EnvType": "Prod",
          "Name": "emr_cluster_001"
        },
        "Name": "Hourly partition quality monitoring",
        "RuntimeResource": {
          "Cu": 0.25,
          "Id": "Serverless_resource_group_xxxxx",
          "Image": "i-xxxxx"
        },
        "Trigger": {
          "Type": "BySchedule",
          "TaskIds": [
            1023777390
          ]
        },
        "Hooks": [
          {
            "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
            "Type": "BlockTaskInstance"
          }
        ],
        "Id": 26433
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。