DataQualityEvaluationTask

名称类型描述示例值
object

质量监控任务

Idlong

数据质量校验任务 ID

10001
Namestring

数据质量校验任务名称,数字、英文字母、汉字、半角全角标点符号组合,最长 255 个字符

质量校验任务
Descriptionstring

数据质量校验任务描述,最长 65535 个字符

This is a daily run data quality evaluation plan.
TenantIdlong

DataWorks 租户 ID

10
ProjectIdlong

Dataworks 项目空间 ID

100
Targetobject

数据质量校验任务的监控对象

Typestring

监控对象类型

  • Table
Table
DatabaseTypestring

表类型的数据集,表所属的数据库类型

  • maxcompute
  • emr
  • cdh
  • hologres
  • analyticdb_for_postgresql
  • analyticdb_for_mysql
  • starrocks
maxcompute
TableGuidstring

表在数据地图中的唯一 ID

odps.unit_test.tb_unit_test
PartitionSpecstring

分区表的分区设置

ds=$[yyyymmdd-1]
Triggerobject

数据质量校验任务的触发配置

Typestring

何种事件可以触发质量校验任务执行

  • ByScheduledTaskInstance:调度实例运行成功
ByScheduledTaskInstance
TaskIdsarray

type=ByScheduledTaskInstance 时生效 ,具体指明哪些调度节点的实例执行成功后可以触发

long

调度任务节点 ID

10001
DataSourceIdlong

数据质量校验任务执行时应使用的数据源

201
RuntimeConfstring

使用数据源时的一些设置,目前只支持指定 EMR 的 yarn 队列、采集 EMR 表时 SQL 引擎指定为 SPARK_SQL|KYUUBI|PRESTO_SQL|HIVE_SQL

{ "queue": "default", "sqlEngine": "SPARK_SQL" }
Hooksarray<object>

数据质量校验任务实例生命周期中的回调设置,目前只支持一个阻塞调度任务的 Hook

object
Typestring

后续处理动作类型

  • BlockTaskInstance:阻塞 DataWorks 任务实例执行
BlockTaskInstance
Conditionstring

Hook 触发条件

${severity} == "High" AND ${status} == "Critical"
Notificationsarray<object>

数据质量校验任务通知订阅配置

object
Conditionstring

告警触发条件

${blockType} == "Strong"
Notificationsarray<object>

具体的消息通知设置

object

告警方式

NotificationChannelsarray<object>

告警方式

object
Channelsarray

告警方式

string
  • Mail - 邮件
  • Sms - 短信
  • Phone - 电话
  • Feishu - 飞书
  • Weixin - 微信
  • Dingding - 钉钉
  • Webhook - 自定义 Webhook
Mail
NotificationReceiversarray<object>

告警接收人设置

object
ReceiverTypestring

告警接收人类型

AliUid
ReceiverValuesarray

告警接收人具体值

string

告警接收人具体值

user1
Extensionstring

扩展信息,格式为 json,例如钉钉机器人支持 at 所有人

{"atAll":"true"}