DataWorks的OpenEvent旨在将DataWorks的各类状态变更情况以消息的方式触达到用户,便于用户订阅消息并做出个性化的响应。例如,您可以通过OpenEvent订阅表变更,从而实现核心表的实时监控;通过OpenEvent订阅任务变更,实现定制化开发实时任务大屏的数据监控。本文为您介绍OpenEvent支持订阅的事件类型与配置流程。
功能介绍
DataWorks已开放DataWorks侧核心流程的状态变更消息,并支持将消息推送至OpenEvent服务,您可通过DataWorks的OpenEvent模块对空间消息进行推送管理,并结合事件总线EventBridge服务实现DataWorks事件消息的过滤与消费管理。
DataWorks的OpenEvent具备以下优势:
节省运维成本:通过开启DataWorks开放平台的消息订阅功能,您可以很方便地订阅事件消息。
提升开发效能:通过在DataWorks界面上创建相关配置,您无需再进行发送消息相关配置,仅需做好相关SDK开发的准备配置工作及订阅消息配置,节省繁杂的手工操作。
实现个性化需求:DataWorks提供丰富的事件类型,您可以通过订阅不同事件类型的消息,快速感知业务状态变化信息,及时做好个性化响应和决策。
适用范围
版本限制:仅支持DataWorks企业版。
地域限制:仅支持华北2(北京)、华东1(杭州)、华南1(深圳)、华东2(上海)、华北3(张家口)、西南1(成都)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、日本(东京)、中国(香港)、新加坡。
权限控制:仅开放平台管理员和租户管理员、阿里云主账号或者拥有AliyunDataWorksFullAccess权限的RAM用户拥有开发者后台的读写权限,权限控制详情请参见全局级模块权限控制、产品及控制台权限控制详情:RAM Policy。
关联产品:OpenEvent通过EventBridge实现消息的订阅与消费,需提前开通事件总线EventBridge。
相关概念
DataWorks事件消息按照是否可在DataWorks形成流程卡点,分为普通事件和扩展点事件。
普通事件:您可以在本地开发程序用于接收该类型的事件消息,以便您基于自身业务进行个性化响应。
扩展点事件:兼容普通事件特性与能力,此外,该类型事件还支持将本地程序注册为DataWorks扩展程序,以此实现通过扩展程序对DataWorks中的用户操作行为进行自定义逻辑处理并实现拦截阻断等行为管控。
DataWorks事件消息按照事件生效范围,将事件划分空间级事件和租户级事件。
空间级事件:空间级模块生成的事件为空间级事件,例如数据开发模块中对节点运行产生的事件消息、运维中心模块周期实例状态变更产生的事件消息等。
租户级事件:租户级模块生成的事件为租户级事件,例如管控台删除空间所产生的事件消息。您可通过下文各模块事件列表了解各个模块支持的事件消息中,哪些为普通事件,哪些为扩展点事件,以及对应事件的发送的消息格式。
支持的事件类型
下表为空间级和租户级分别支持的扩展点事件和普通事件。
租户级事件
管控台
管控台消息格式详情请参见:管控台事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
删除项目空间 | 删除项目空间前置事件 | 用户在工作空间列表删除某个工作空间前,将触发该事件。同时,删除项目空间前置事件还会触发相应扩展程序进行流程卡点。 | ||
删除空间后置 |
上传与下载
上传与下载消息格式详情请参见:上传与下载事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
数据下载与上传 | 数据下载前置事件-文件生成 | 当用户在下载中心进行数据下载操作。 在实际的数据下载操作之前,会触发数据下载前置事件,以获取即将进行的下载操作的相关信息。 | ||
数据下载前置事件-文件下载 | ||||
数据上传前置事件 |
空间级事件
数据开发
数据开发消息格式详情请参见:数据开发事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
节点变更 | 新增节点 | 新建节点发布生产 | ||
更新节点 |
| |||
文件变更
| 文件删除前置事件 | 开发环境删除文件,被删除的文件将放入回收站。 | ||
文件提交前置事件 | 在DataStudio提交某个节点、资源或函数。 | |||
文件发布前置事件 | 在DataStudio发布某个已提交节点、资源或函数。 | |||
代码运行前置事件 | 在DataStudio运行节点代码。 | |||
表变更 | 表提交到开发前置事件 | 表提交扩展点事件:例如在表管理中提交某个表。 | ||
表提交到生产前置事件 | 表发布扩展点事件:例如在表管理中发布某个表。 说明 仅标准模式工作空间支持在表管理中发布表,因此表发布扩展点事件仅存在于标准模式下。 |
数据集成
数据集成消息格式详情请参见:数据集成事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
节点变更事件 | 开启实时任务 | 在数据集成启动实时任务。 | ||
批量开启实时任务 | 在数据集成批量启动实时任务。 |
运维中心
运维中心消息格式详情请参见:运维中心事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
节点变更 | 删除节点 |
| ||
节点下线前置事件 | 生产环境周期任务直接下线节点。 说明 该操作会同步删除数据开发中的节点,并放入回收站。 | |||
节点冻结前置事件 | 周期任务界面冻结任务。 | |||
节点解冻前置事件 | 周期任务界面解冻任务。 | |||
节点补数据 | 补数据前置事件 |
| ||
任务状态变更 | 调度任务状态变更 | 如下场景会触发调度任务状态变更事件:
| ||
实例变更 | 冻结实例 | 在运维中心的周期实例列表对某个实例进行以下操作后,会触发相应事件。
| ||
解冻实例 | ||||
终止实例 | ||||
重跑实例
| ||||
置成功实例 | ||||
移除实例指定上游依赖 | ||||
冻结实例前置事件 | 在运维中心的周期实例列表对某个实例单击某个操作时,会触发相应前置事件。
| |||
解冻实例前置事件 | ||||
重跑实例前置事件 | ||||
置成功实例前置事件 | ||||
杀死实例前置事件 | ||||
删除过期实例 | ||||
工作流状态变更 | 工作流状态变更
|
| ||
监控告警 | 监控告警 |
|
安全中心
安全中心消息格式详情请参见:安全中心事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
申请单创建/审批 | 创建权限申请单前置事件 | 例如在安全中心内,页面对函数、表、资源,进行权限申请单的创建。 | ||
完成申请单 | 例如在安全中心内页面,审批所有项目下的表、资源和函数的权限。 | |||
表权限变更 | 表权限申请 | 例如用户根据需求申请特定表的读取、写入、修改等权限。 |
数据质量
数据质量消息格式详情请参见:数据质量事件列表。
事件类型 | 事件 | 普通事件 | 扩展点事件 | 示例(产生事件消息的操作) |
数据质量校验 | 校验结果反馈 | 用户对校验结果的反馈。 例如,在数据治理的数据质量模块,给某个表启用了表行数大于0的规则,页面上用户可以对某次校验结果进行反馈,当用户执行了反馈操作,系统会把用户反馈的内容(校验规则ID、反馈内容等)发送给订阅端。 | ||
校验完成 | 规则校验完毕发送规则校验结果(是否通过、样本等信息) 例如,在数据治理的数据质量模块,给某个表启用了表行数大于0的规则,触发了规则并且规则校验完毕,会把规则校验结果(是否通过、样本等信息)发送给订阅端。 | |||
数据质量规则前置 | 批量创建数据质量规则前置事件 | 例如在数据质量内,进入页面的某个表详情页。在规则管理页签进行如下操作时,会触发相应前置事件。
| ||
批量更新数据质量规则前置事件 | ||||
批量删除数据质量规则前置事件 | ||||
更新数据质量规则前置事件 | ||||
数据质量监控前置 | 创建数据质量监控前置事件 | 例如在数据质量内,进入页面的某个表详情页。在质量监控页签进行如下操作时,会触发相应前置事件。
| ||
更新数据质量监控前置事件 | ||||
克隆数据质量监控前置事件 | ||||
批量删除数据质量监控前置事件 | ||||
数据质量监控告警订阅前置 | 创建数据质量监控告警订阅前置事件 | 例如在数据质量内,进入页面的某个表详情页。在质量监控页签中对某个质量监控进行告警订阅。 | ||
更新数据质量监控告警订阅前置事件 | 例如在数据质量内,进入页面的某个表详情页。在质量监控页签中对某个质量监控的告警订阅信息进行修改。 | |||
删除数据质量监控告警订阅前置事件 | 例如在数据质量内,进入页面的某个表详情页。在质量监控页签中对某个质量监控的告警订阅信息进行删除。 |