扩展程序概述
DataWorks通过OpenEvent能力为您提供消息推送订阅能力,同时您可以将服务程序注册为DataWorks的扩展程序,通过扩展程序来卡点并响应订阅的事件消息,以此实现通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍通过OpenEvent和扩展程序,实现消息通知与流程管控的功能概述与操作流程。
使用限制
目前仅面向DataWorks企业版用户公测,华北2(北京)、华东1(杭州)、华东2(上海)、华北3(张家口)、华南1(深圳)、西南1(成都)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、日本(东京)、中国(香港)、新加坡地域支持该功能。
仅支持阿里云主账号或者有AliyunDataWorksFullAccess权限的RAM用户权限的用户可以直接进行界面相关配置,关于DataWorks权限说明,详情请参见产品及控制台权限控制详情:RAM Policy。
注意事项
产品能力
DataWorks作为阿里云一站式大数据开发与治理平台,在各项能力支持上预设置了很多拓展点,例如,在标准模式下,简略来看,节点创建后完成代码开发后,需先提交到开发环境中进行验证,完成后再正式发布到生产环境中,后续每天根据调度配置定时运行,如果节点不再需要,可以删除节点。在这个流程中DataWorks预置了几个扩展点,您可以基于扩展点增加自定义管控流程,例如下列场景:
增加代码评审流程。
当用户单击提交节点时,流程进入自定义代码评审流程中,不直接提交到开发环境中进行验证。自定义评审流程通过后再提交至开发环境。
增加发布前审核流程。
当用户单击发布节点时,流程进入自定义发布前审核流程中,不直接发布到生产环境。自定义审核流程通过后,再发布至生产环境。
上述场景中的流程管控,是通过DataWorks提交文件扩展点和发布文件扩展点实现流程卡点,并通过您注册在DataWorks上的扩展程序实现自定义流程管控。您可以将自己开发的应用注册到DataWorks上成为扩展程序,并通过OpenEvent和OpenAPI进行扩展程序与DataWorks的通信,进而实现自定义流程控制。处理流程大致如下:
通过OpenEvent实现扩展消息订阅。
OpenEvent通过EventBridge为您提供部分事件的消息订阅,详情请参见OpenEvent概述。完成订阅后,您可以获取到对应事件的消息详情,例如,提交节点为文件提交类事件,这类事件的消息详情会包含节点ID、操作人UID、项目空间ID等信息。各类事件的消息格式详情请参见附录:发送给EventBridge的消息格式。
通过扩展程序实现扩展点事件处理。
DataWorks支持将用户的服务程序注册为扩展程序,订阅接收到事件消息后,通过扩展程序处理事件并将处理结果通过OpenAPI返回给DataWorks。其中,支持通过扩展程序处理事件的扩展点列表详情请参见下文的支持的扩展点事件列表。
通过OpenAPI实现扩展点事件处理结果回调。
扩展点事件触发等待扩展程序处理过程中,当前的流程会变为“检查中”状态,OpenAPI会将扩展程序的处理结果返回给DataWorks,DataWorks根据反馈结果状态继续流程。
处理结果为通过:事件符合扩展程序校验逻辑,当前流程通过后继续,状态从“检查中”变为“通过”。
处理结果为不通过:事件不符合扩展程序校验逻辑,需阻塞此次流程,状态从“检查中”变为“不通过”。
支持的扩展点事件列表
当前支持通过扩展程序处理的扩展点事件分类及事件详情如下表。
进行扩展程序注册开发时,需要使用以下各扩展点事件的事件编码信息,各事件的事件编码详情请参见开发参考:扩展事件编码。
系统模块 | 扩展点事件 | 回调校验结果的OpenAPI |
数据开发 | 说明 仅标准模式工作空间支持发布操作相关扩展点。 | 您可通过UpdateIDEEventResultAPI将事件处理结果回调至DataWorks。 |
数据质量 | 您可通过ListQualityResultsByRuleAPI将事件处理结果回调至DataWorks。 | |
运维中心 | 您可通过UpdateWorkbenchEventResultAPI将事件处理结果回调至DataWorks。 | |
安全中心 | 您可通过CallbackExtensionAPI将事件处理结果回调至DataWorks。 | |
管理控制台 |
以DataStudio中节点提交事件为例,流程如下图所示。更多扩展点的触发应用示例可参见应用示例:数据开发过程触发事件检查、应用示例:运维中心触发事件检查。
操作流程
如上文所述,通过OpenEvent、扩展程序、OpenAPI实现自定义管控流程的完整的操作包括以下几个步骤。
准备工作:
开启消息订阅,并注册扩展程序,获取开发扩展程序所需的必要信息。详情请参见准备工作。
开发部署扩展程序。
根据已获取的信息,开发扩展程序,并将扩展程序部署为一个应用服务。详情请参见开发部署扩展程序。
同时扩展程序为您提供的参数配置和选项配置,便于您灵活高效的使用扩展程序,应用详情请参见高级应用:扩展程序参数配置、高级应用:扩展程序选项配置。
测试应用扩展程序。
扩展程序开发部署完成后,您即可在DataWorks的测试工作空间中测试扩展程序是否符合预期,完成测试后上线扩展程序,由管理员在使用的工作空间中启用扩展程序。详情请参见测试应用扩展程序。