DataWorks的业务流程开发结构满足根据业务视角来组织数据开发任务的需求,也提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,以及批量修改或删除业务流程中的节点。
背景信息
一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程,一个业务流程是多种类型对象的集合,对象的类型包括数据集成、MaxCompute、Hologres、EMR等引擎节点(例如MaxCompute的SQL节点、MaxCompute表节点)。
每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。
周期业务流程与手动业务流程
对比项 | 周期业务流程 | 手动业务流程 |
---|---|---|
适用场景 | 这个业务流程下的所有数据开发任务后续都需要周期性自动运行。 | 这个业务流程下的所有数据开发任务后续都需要手动触发运行,无需周期性自动运行。 |
运行方式 | 周期性自动运行 | 手动触发 |
任务开发配置要点 | 需要配置周期性调度的参数:如周期性调度的定时时间、节点的调度依赖关系等。 | 由于任务是手动触发运行,因此无需配置与周期性调度相关的参数,如父节点的依赖、本节点的输出、定时时间等。 说明 除手动业务流程无需配置的这些配置要点,其他的配置参数与周期业务流程的配置完全一致,后续文档的任务开发配置均以周期业务流程的场景为例,手动业务流程中的任务,同样的配置参数配置方式一致。 |
创建入口 | ![]() | ![]() |
创建周期业务流程
数据开发基于业务流程下对应的开发组件进行具体开发操作,所以您创建节点前需要先新建业务流程。创建业务流程前,您可以参考下文的设计业务流程章节,结合自身的业务情况,先规划设计好符合自身业务诉求的业务流程。以下为创建周期业务流程的详细步骤。
- 进入数据开发页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的数据开发。
- 鼠标悬停至
图标,单击新建业务流程。
- 在新建业务流程对话框中,输入业务名称和描述。
- 单击新建。
- 您可以在业务流程下的对应引擎下开始任务开发工作,可参考下文的开发业务逻辑了解通用的任务开发思路
- 任务开发完成后,您可以直接提交业务流程,将任务提交发布至生产环境,详情请参见提交业务流程。
- 同时您也可以在各页面对业务流程并进行管理操作,详情请参见查看所有的业务流程、删除业务流程中的节点、快速复制业务流程、快速导入导出多个业务流程至其他DataWorks工作空间或其他开源引擎。
设计业务流程

开发业务逻辑
DataWorks将引擎能力进行封装,您可以基于引擎节点进行数据开发,无需接触复杂的引擎命令行,同时您也可以结合平台提供的通用类型节点进行复杂逻辑处理。
提交业务流程
标准模式工作空间下,数据开发界面仅作为节点任务的开发与测试页面,如果您需要将代码发布到生产环境,您可以批量提交该业务流程下的节点,并进入任务发布界面批量发布该业务流程下的节点项。
- 业务流程设计并完成测试后,单击工具栏中的
图标。
- 在提交对话框中,选中需要提交的节点,输入备注信息,并根据业务需求选择是否忽略输入输出不一致的告警。如果您的输入输出内容和代码血缘分析不匹配时,当不勾选忽略输入输出不一致的告警,会产生相应的告警提示,详情请参见提交节点时提示:输入输出和代码血缘分析不匹配。
- 单击提交。说明 如果您的节点已经提交过,在不改变节点内容的情况下,无法再次选择节点。此时输入备注后单击提交即可,节点属性等改动会被正常提交。
- 任务发布,详情请参见发布标准模式工作空间的节点。
查看所有的业务流程


基于解决方案管理业务流程
- 包含多个业务流程。
- 解决方案之间可以复用相同的业务流程。
- 自定义组合而成的解决方案,可以让您进行沉浸式开发。
- 在DataStudio界面左侧导航栏底部单击
图标,默认进入 页面,文件管理模块选择显示解决方案。
- 通过解决方案修改面板批量添加业务流程。
删除业务流程中的节点
通过批量功能删除
- 在数据开发页面,单击业务流程后的
图标,进入任务列表页面。
- 修改或删除目标节点。
通过节点组功能删除
使用节点组功能可以实现新建、引用、拆分及删除节点组,详情请参见使用节点组。
快速复制业务流程
您可以通过节点组的功能快速将某一个业务流程组成一个节点组,然后在新业务流程中引用该节点组,详情可参见使用节点组。
快速导入导出多个业务流程至其他DataWorks工作空间或其他开源引擎
如果您需要快速、批量导出DataWorks工作空间的多个业务流程,并将业务流程导入至其他DataWorks工作空间,则可以使用DataWorks的迁移助手功能,详情请参见概述。