DataQualityEvaluationTask

更新时间:
复制 MD 格式

名称

类型

描述

示例值

object

质量监控任务

Id

integer

数据质量校验任务 ID

10001

Name

string

数据质量校验任务名称,数字、英文字母、汉字、半角全角标点符号组合,最长 255 个字符

质量校验任务

Description

string

数据质量校验任务描述,最长 65535 个字符

This is a daily run data quality evaluation plan.

TenantId

integer

DataWorks 租户 ID

10

ProjectId

integer

Dataworks 项目空间 ID

100

Target

object

数据质量校验任务的监控对象

Type

string

监控对象类型

  • Table

Table

DatabaseType

string

表类型的数据集,表所属的数据库类型

  • maxcompute

  • emr

  • cdh

  • hologres

  • analyticdb_for_postgresql

  • analyticdb_for_mysql

  • starrocks

maxcompute

TableGuid

string

表在数据地图中的唯一 ID

odps.unit_test.tb_unit_test

PartitionSpec

string

分区表的分区设置

ds=$[yyyymmdd-1]

Trigger

object

数据质量校验任务的触发配置

Type

string

何种事件可以触发质量校验任务执行

  • ByScheduledTaskInstance:调度实例运行成功

ByScheduledTaskInstance

TaskIds

array

type=ByScheduledTaskInstance 时生效 ,具体指明哪些调度节点的实例执行成功后可以触发

integer

调度任务节点 ID

10001

DataSourceId

integer

数据质量校验任务执行时应使用的数据源

201

RuntimeConf

string

使用数据源时的一些设置,目前只支持指定 EMR 的 yarn 队列、采集 EMR 表时 SQL 引擎指定为 SPARK_SQL|KYUUBI|PRESTO_SQL|HIVE_SQL

{ "queue": "default", "sqlEngine": "SPARK_SQL" }

Hooks

array

数据质量校验任务实例生命周期中的回调设置,目前只支持一个阻塞调度任务的 Hook

object

Type

string

后续处理动作类型

  • BlockTaskInstance:阻塞 DataWorks 任务实例执行

BlockTaskInstance

Condition

string

Hook 触发条件

${severity} == "High" AND ${status} == "Critical"

Notifications

array

数据质量校验任务通知订阅配置

object

Condition

string

告警触发条件

${blockType} == "Strong"

Notifications

array

具体的消息通知设置

object

告警方式

NotificationChannels

array

告警方式

object

Channels

array

告警方式

Mail

string

  • Mail - 邮件

  • Sms - 短信

  • Phone - 电话

  • Feishu - 飞书

  • Weixin - 微信

  • Dingding - 钉钉

  • Webhook - 自定义 Webhook

Mail

NotificationReceivers

array

告警接收人设置

object

ReceiverType

string

告警接收人类型

AliUid

ReceiverValues

array

告警接收人具体值

string

告警接收人具体值

user1

Extension

string

扩展信息,格式为 json,例如钉钉机器人支持 at 所有人

{"atAll":"true"}