DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。
版本限制
仅支持DataWorks企业版及以上版本。
功能介绍
DataWorks的工作空间分为标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,两种模式的数据开发流程示意如下。
标准模式工作空间开发流程

简单模式工作空间开发流程

如上图所示,在通用流程的关键节点,例如,任务运行调试前、任务提交前、任务发布前,您可以进行流程管控。
任务运行前校验示例 | 任务提交前校验示例 | 任务发布前校验示例 |
在数据开发页面,单击工具栏的运行按钮触发代码运行,系统弹出蓝色提示"检查中——检查通过后将自动执行操作,请在「操作检查」中查看结果"。在左侧操作检查面板中可查看各检查记录(如触发代码运行前置事件检查、触发文件发布前置事件检查等)及其状态。单击某条记录可展开底部详情面板,查看检查名称、检查类型(如代码运行前检查器_数据)、检查状态,以及查看详情和查看文档操作链接。 | 任务提交前校验示例:在数据开发页面单击工具栏的提交按钮,系统弹出蓝色提示框提示"检查中",表示检查通过后将自动执行操作,可在操作检查中查看结果。左侧操作检查面板列出所有被触发的扩展程序检查记录(如触发文件提交前置事件检查),单击某条记录可在底部详情面板查看检查名称、检查类型(如"提交前检查_测试程序")、检查状态,并可执行查看详情或查看文档操作。 | 单击代码编辑器右上角的发布按钮触发文件发布前置事件检查。在创建发布包页面中,对应节点的节点状态显示为检查校验中。单击该节点行可展开底部操作检查面板,查看检查类型(如提交前检查_测试程序)、检查状态及操作(查看详情、查看文档)。 |
您可以通过DataWorks的开放平台、数据治理等功能模块,实现在关键节点对数据开发流程的管控校验。
涉及的功能模块 | 运行前校验 | 提交前校验 | 发布前校验 | 流程管控能力引导介绍 |
数据治理中心 |
|
|
| DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置校验逻辑对当前操作进行管控校验,管控校验完成后才会继续后续流程。 |
开放平台 |
|
|
| 如果DataWorks的内置检查项不足以满足您的流程管控需求,您也可以使用开放平台,针对需要管控的事件自行开发校验程序,并将管控流程嵌入数据开发流程中。 |
下文以标准模式工作空间的场景为例,为您介绍这些关键节点的流程管控能力。
启用内置检查项:数据治理中心
DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置校验逻辑对当前操作进行管控校验,管控校验完成后才会继续后续流程。
细分 | 介绍 |
涉及DataWorks功能模块 | DataWorks数据治理中心 DataWorks的数据治理中心内置了很多检查项,开启后即可以进行对应操作的管控校验。进入配置管理 > 检查项页面,确认启用检查项开关已开启。根据需要选择研发、质量、安全、计算或存储Tab页签,在检查项列表中找到目标检查项(如高费用SQL检查)并启用。
|
配置入口与指导 | 您需要在数据治理中心启用检查项,并设置启用的检查项在哪个工作空间生效。 通用操作指导请参见配置治理项。 |
自定义校验逻辑:开放平台
如果DataWorks的内置检查项不足以满足您的流程管控需求,您也可以使用开放平台,针对需要管控的事件自行开发校验程序,并将管控流程嵌入数据开发流程中。调试运行前的自定义校验逻辑的管控校验能力介绍如下。
细分 | 介绍 |
涉及DataWorks功能模块 | DataWorks开放平台 DataWorks开放平台提供开放事件(OpenEvent)、扩展程序(Extensions)和OpenAPI功能,您可以通过OpenEvent订阅用户在DataStudio中的操作事件消息,并在事件消息后,通过Extensions功能,自定义一个校验审批程序,并将程序的审批结果通过OpenAPI回调给DataWorks系统。OpenEvent和Extensions的详细介绍请参见OpenEvent概述、扩展程序概述。 |
校验流程 | 如果您使用开放平台功能,配置了对DataStudio中关键操作的事件订阅与事件校验,则当用户进行对应操作时会触发校验流程,以运行前管控为例,管控校验流程如下。 |
配置入口与指导 | 您需要在开放平台中配置订阅DataStudio的事件,并自行开发事件处理的扩展程序,将扩展程序上线至DataWorks,并设置在哪个工作空间启用。
更多开放平台支持订阅管控的事件类型请参见扩展程序概述。
|
