ListDataQualityEvaluationTaskInstances - 查询质量监控任务实例列表

更新时间:
复制 MD 格式

质量监控任务实例列表分页查询。

说明

目前该API接口已标记为弃用,推荐使用替代API:dataworks-public(2024-05-18) - ListDataQualityScanRuns

接口说明

需要购买 DataWorks 基础版及以上版本才能使用

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。

  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。

  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:

    • 对于必选的资源类型,用前面加 * 表示。

    • 对于不支持资源级授权的操作,用全部资源表示。

  • 条件关键字:是指云产品自身定义的条件关键字。

  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

dataworks:*

list

*全部资源

*

请求参数

名称

类型

必填

描述

示例值

ProjectId

integer

DataWorks 工作空间的 ID

100

DataQualityEvaluationTaskId

integer

数据质量校验任务 ID

10000

TableGuid

string

表在数据地图中的唯一 ID

odps.unit_test.tb_unit_test

CreateTimeFrom

integer

数据质量校验任务实例最早开始时间

1710239005403

CreateTimeTo

integer

数据质量校验任务实例最晚开始时间

1710239005403

BizdateFrom

string

质量校验任务业务起始日期

2024-04-01

BizdateTo

string

质量校验任务业务截止日期

2024-05-01

TriggerClientId

string

TriggerContext 中的 TriggerClientId

1001

TriggerClient

string

TriggerContext 中的 TriggerClient

CWF2

PageSize

integer

列表分页查询页大小,默认为 10

10

PageNumber

integer

列表分页查询页码,默认为 1

1

返回参数

名称

类型

描述

示例值

object

返回值

RequestId

string

API 请求 ID

691CA452-D37A-4ED****

PagingInfo

object

质量校验任务实例分页查询结果

PageNumber

integer

页码

1

PageSize

integer

页大小

10

TotalCount

integer

总条数

294

DataQualityEvaluationTaskInstances

array<object>

被触发成功的 TaskInstance

array<object>

Id

integer

质检任务实例 ID

10001

CreateTime

integer

任务实例创建时间

1710239005403

FinishTime

integer

任务实例结束时间

1710239005403

Status

string

当前运行状态

  • Running

  • Error

  • Passed

  • Warned

  • Critical

Critical

Parameters

string

实际运行时,使用的参数设置

{ "bizdate": "20240517", "triggerTime": "1710239005403" }

TriggerContext

string

实例触发时的上下文信息

{ "TriggerClientId": 10001, "TriggerClient": "CWF2" }

ProjectId

integer

DataWorks 项目空间 ID

100

Task

object

校验开始时,数据质量校验任务的快照

Id

integer

数据质量校验任务 ID

10001

Description

string

质量监控任务描述

This is a daily run data quality evaluation plan.

ProjectId

integer

项目空间 Id

100

Target

object

数据质量校验任务的监控对象

Type

string

监控对象类型

  • Table

Table

DatabaseType

string

表类型的数据集,表所属的数据库类型

  • maxcompute

  • emr

  • cdh

  • hologres

  • analyticdb_for_postgresql

  • analyticdb_for_mysql

  • starrocks

maxcompute

TableGuid

string

表在数据地图中的唯一 ID

odps.unit_test.tb_unit_test

PartitionSpec

string

分区表的分区设置

ds=$[yyyymmdd-1]

Trigger

object

数据质量校验任务的触发配置

Type

string

何种事件可以触发质量校验任务执行

  • ByScheduledTaskInstance:调度实例运行成功

ByScheduledTaskInstance

TaskIds

array

调度任务节点 IDs

integer

调度任务节点 ID

10000

RuntimeConf

string

使用数据源时的一些设置,目前只支持指定 EMR 的 yarn 队列、采集 EMR 表时 SQL 引擎指定为 SPARK_SQL|KYUUBI|PRESTO_SQL|HIVE_SQL

{ "queue": "default", "sqlEngine": "SPARK_SQL" }

Hooks

array<object>

数据质量校验任务实例生命周期中的回调设置,目前只支持一个阻塞调度任务的 Hook

object

Hook

Type

string

后续处理动作类型

  • BlockTaskInstance:阻塞 DataWorks 任务实例执行

BlockTaskInstance

Condition

string

Hook 触发条件

${severity} == "High" AND ${status} == "Critical"

Notifications

object

通知订阅配置

Condition

string

通知触发条件

${severity} == "High"

Notifications

array<object>

通知设置

array<object>

通知设置

NofiticationReceivers

array<object>

告警接收人设置

object

告警接收人设置

ReceiverType

string

告警接收人类型

  • AliUid - 阿里云账号 Uid

  • WebhookUrl - 自定义 webhook URL

  • DingdingUrl - 钉钉机器人 Url

  • FeishuUrl - 飞书机器人 Url

  • WeixinUrl - 企微机器人 Url

AliUid

Extension

string

扩展信息,格式为 json,例如钉钉机器人支持 at 所有人

{"atAll":"true"}

ReceiverValues

array

告警接收人

string

告警接收人具体值

10000001

NotificationChannels

array<object>

告警方式

object

通知方式

Channels

array

告警方式

string

  • Mail - 邮件

  • Sms - 短信

  • Phone - 电话

  • Feishu - 飞书

  • Weixin - 微信

  • Dingding - 钉钉

  • Webhook - 自定义 Webhook

Mail

Name

string

质量监控任务名称

Quality verification task

示例

正常返回示例

JSON格式

{
  "RequestId": "691CA452-D37A-4ED****",
  "PagingInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 294,
    "DataQualityEvaluationTaskInstances": [
      {
        "Id": 10001,
        "CreateTime": 1710239005403,
        "FinishTime": 1710239005403,
        "Status": "Critical",
        "Parameters": "{\n  \"bizdate\": \"20240517\",\n  \"triggerTime\": \"1710239005403\"\n}",
        "TriggerContext": "{\n  \"TriggerClientId\": 10001,\n  \"TriggerClient\": \"CWF2\"\n}",
        "ProjectId": 100,
        "Task": {
          "Id": 10001,
          "Description": "This is a daily run data quality evaluation plan.",
          "ProjectId": 100,
          "Target": {
            "Type": "Table",
            "DatabaseType": "maxcompute",
            "TableGuid": "odps.unit_test.tb_unit_test",
            "PartitionSpec": "ds=$[yyyymmdd-1]"
          },
          "Trigger": {
            "Type": "ByScheduledTaskInstance",
            "TaskIds": [
              10000
            ]
          },
          "RuntimeConf": "{ \"queue\": \"default\", \"sqlEngine\": \"SPARK_SQL\" }",
          "Hooks": [
            {
              "Type": "BlockTaskInstance",
              "Condition": "${severity} == \"High\" AND ${status} == \"Critical\""
            }
          ],
          "Notifications": {
            "Condition": "${severity} == \"High\"",
            "Notifications": [
              {
                "NofiticationReceivers": [
                  {
                    "ReceiverType": "AliUid",
                    "Extension": "{\"atAll\":\"true\"}",
                    "ReceiverValues": [
                      "10000001"
                    ]
                  }
                ],
                "NotificationChannels": [
                  {
                    "Channels": [
                      "Mail"
                    ]
                  }
                ]
              }
            ]
          },
          "Name": "Quality verification task"
        }
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情