已完成扩展程序的开发,并在DataWorks管控台中完成扩展程序的注册和上线后,当您在扩展程序生效的工作空间中使用某些页面功能(即进行扩展点事件的相关操作)时,DataWorks会将事件消息发送至您的扩展程序,并根据扩展程序返回的结果来决定该操作是否生效。

前提条件

已完成开放消息的配置、扩展程序的配置。

背景信息

DataWorks支持对扩展点事件进行消息通知,通过扩展程序来自动化校验并响应,其中扩展点事件包括文件发布前置事件、文件提交前置事件、表提交前置事件等。扩展点事件的概念和详细列表请参见支持的扩展点事件列表

其中扩展点事件的自动校验及响应需通过扩展程序实现。DataWorks已为您提供了系统内置扩展程序,包括禁止简单加工、不允许create table等,您可以根据需要选择是否开启。除此之外,您可以自行开发扩展程序,并将其注册到DataWorks。您可以在工作空间页面查看扩展程序,并控制是否需要在当前工作空间开启该扩展程序校验。扩展程序

使用限制

系统内置扩展程序需要开启数据治理中心后,才可以在工作空间配置页面展示。数据治理中心模块开启与模块相关说明可参考文档:数据治理中心概述

扩展程序启用后,实际在数据开发过程中,扩展事件被触发后的消息通知与响应有以下限制。
  • 系统内置扩展程序启用后,暂时仅支持对ODPS SQL类的节点生效。

    即启用后,仅ODPS SQL类节点中相应扩展点事件被触发时,流程会被阻断,通过内置扩展程序对对应的逻辑进行校验并返回校验结果。非ODPS SQL节点对应的事件被触发后,流程会被阻断,但是内置扩展程序不会校验逻辑是不是符合预期,直接返回校验成功。

  • 扩展点事件中,表发布前置事件表提交前置事件暂时仅支持MaxCompute表提交与发布时触发并进行检测。
  • 有内部节点的组合类节点(机器学习(PAI)节点do-while节点for-each节点)触发检查时,需要内部节点都检查通过才可继续进行下一步操作。

能力概述

数据开发模块支持您本地服务对以下扩展点事件进行消息接收,此外,还支持将本地程序注册为DataWorks扩展程序,通过扩展程序接收扩展点事件消息,实现扩展程序对扩展点事件的自定义逻辑处理,并通过回调UpdateIDEEventResultAPI将处理结果返回至平台,实现DataWorks上的流程管控。支持的扩展点如下:

  • 文件操作:运行文件、提交文件、发布文件、删除文件
  • 表操作:提交表、发布表

支持的扩展点

DataWorks目前在数据开发过程中,支持对以下的扩展点事件进行消息通知,通过扩展程序实现校验并响应。
  • DataStudio-运行文件代码运行
  • DataStudio-提交文件文件提交
  • DataStudio-发布文件文件发布
  • DataStudio-删除文件文件删除
  • DataStudio-提交表表提交
  • DataStudio-发布表表发布