应用示例:数据开发过程触发事件检查

更新时间:
复制 MD 格式

DataWorks开放平台,成功注册、上线并启用扩展程序后,在该扩展程序所生效的工作空间中,使用页面部分功能(即触发扩展点事件)时,DataWorks会将事件消息发送至您的扩展程序,根据扩展程序返回的结果,您可以决定该操作是否生效。本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。

前提条件

背景信息

  • 启动扩展程序。

    您可以在管理中心页面查看扩展程序,并控制是否需要在当前工作空间启用该扩展程序校验。

  • 数据开发支持的扩展点事件。

    DataWorks的数据开发模块,支持扩展点事件包括文件发布前置事件、文件提交前置事件、表提交前置事件等。扩展点事件的概念和详细列表请参见支持的扩展点事件列表

  • DataWorks支持对扩展点事件进行消息通知,通过扩展程序来自动化校验并响应,扩展点触发过程详情请参见支持的扩展点事件

使用限制

扩展程序启用后,实际数据开发过程中,扩展事件被触发后的消息通知与响应有以下限制。

  • 系统内置扩展程序启用后,暂时仅支持对ODPS SQL类的节点生效。

    即启用后,仅ODPS SQL类节点中相应扩展点事件被触发时,流程会被阻断,通过内置扩展程序对对应的逻辑进行校验并返回校验结果。非ODPS SQL节点对应的事件被触发后,流程会被阻断,但是内置扩展程序不会校验逻辑是否符合预期,直接返回校验成功。

  • 扩展点事件中,表发布前置事件表提交前置事件暂时仅支持MaxCompute表提交与发布时触发并进行检测。

  • 有内部节点的组合类节点,例如:do-while节点for-each节点在触发检查时,需要内部节点都检查通过才可继续进行下一步操作。

能力概述

数据开发模块支持您的本地服务接收以下扩展点事件的消息。此外,还支持将本地程序注册为DataWorks扩展程序,通过扩展程序接收扩展点事件消息。实现扩展程序对扩展点事件的自定义逻辑处理,并通过回调UpdateIDEEventResultAPI将处理结果返回至平台,实现DataWorks上的流程管控。支持的扩展点如下:

  • 文件操作:运行文件、提交文件、发布文件、删除文件。

  • 表操作:提交表、发布表。

    说明

    数据开发表操作扩展事件仅支持对MaxCompute表的触发与检测。

支持的扩展点事件

DataWorks数据开发中,目前支持对以下的扩展点事件进行消息通知,通过扩展程序实现校验并响应。

DataStudio-运行文件DataStudio代码编辑器中,单击运行按钮触发扩展程序前置事件校验,界面弹出检查中浮层提示"检查通过后将自动执行操作,请在[操作检查]中查看结果"。在左侧操作检查面板中可查看所有校验记录(包括运行、提交文件、删除等类型),单击对应记录可打开详情弹窗,查看各扩展程序的检查类型、状态及详情。

DataStudio-提交文件DataStudio中提交文件时,系统将触发文件提交前置事件检查。单击工具栏中的提交按钮,触发扩展程序检查,编辑器弹出"检查中"提示,检查通过后将自动执行操作。在左侧操作检查面板中可查看各检查项的状态,列表展示"触发文件提交前置事件检查"

DataStudio-发布文件文件发布时触发前置事件检查的流程:在代码编辑器中单击发布按钮提交文件后,系统触发扩展程序检查;进入创建发布包界面,文件列表中对应节点的节点状态显示为检查验证中;单击节点状态可打开操作检查弹窗,查看检查类型、状态及校验详情。

DataStudio-删除文件在数据开发文件树中,右键单击目标节点并选择删除,触发扩展程序前置事件检查。页面底部出现蓝色提示"此操作触发了检查,检查通过后操作自动生效,请在「操作检查」中查看检查结果。"进入操作检查页面,可查看检查记录列表(包含名称/操作时间、类型、状态列),单击具体记录可查看操作检查详情,包括检查类型(如"删除前组合 测试")和当前状态(如"检查中"),并提供查看详情查看文档链接。

DataStudio-提交表提交表(如xc_table_prod)到开发环境或生产环境时,系统自动触发扩展程序前置事件检查,弹出检查中对话框提示"检查通过后将自动执行操作,请在「操作检查」中查看结果"。在左侧操作检查侧边栏可按类型和状态筛选查看所有检查记录。单击具体记录可打开操作检查详情弹窗,查看当前操作触发的扩展程序校验列表(如检查类型"表提交前检查-测试程序")及校验状态,支持查看详情重新检查操作。

DataStudio-发布表在表配置页面单击提交到生产环境页签触发扩展程序检查,系统弹出提示"检查中 - 检查通过后将自动执行操作,请在「操作检查」中查看结果"。进入操作检查页面可查看检查记录列表,包含表名、提交时间、检查类型及状态。单击某条记录可查看检查详情,包括检查类型(如表发布前检查)和当前状态,并支持查看详情查看文档操作。该操作会触发工作空间中已开启的表发布前置事件类型的扩展程序校验。

相关文档