手动工作流

如果您的工作流不需要周期性运行,但又需要将任务发布至生产环境运行,则可以创建手动工作流,本文为您介绍如何创建手动工作流,并将其发布到生产环境。

使用说明

  • 手动工作流仅支持手动触发执行,不支持自动调度。

  • 手动工作流各节点间的连线仅表示执行顺序,并非设置调度依赖。

  • 手动工作流与周期工作流存在部分差异,详情请参见功能说明

设计手动工作流

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 在左侧导航栏单击image,然后在手动业务流程右侧单击image > 新建手动工作流,自定义手动工作流名称,单击确认进入手动工作流编辑页面。

  3. 在工作流编辑页面顶部单击新建内部节点,选择需要的内部节点类型,自定义内部节点名称,单击确认创建,对应节点即会出现在画布中。

  4. 按需规划手动工作流。

    进行工作流设计时,当工作流中节点个数较多时可能会影响实际运行,建议单个工作流下节点总数不要超过100个,工作流中最多创建200个节点。

开发业务逻辑

DataWorks将引擎能力进行封装,您可以基于引擎节点进行数据开发,无需接触复杂的引擎命令行,同时您也可以结合平台提供的通用类型节点进行复杂逻辑处理。

在工作流内,您可以基于同步和计算节点等进行具体的工作流开发。

  • 您可以编辑同步节点,配置同步的数据来源和去向,将某个数据库的数据同步到另一个数据库。

  • 您可以打开某个数据开发节点,进行具体的数据清洗工作,例如MaxCompute SQL节点,如果代码开发过程中需要用到资源或函数,DataWorks也支持您通过可视化的方式来创建资源节点和函数节点。数据开发的更多细节,请参见节点开发,创建资源和函数,详情请参见资源管理

发布手动工作流

标准模式工作空间下,数据开发界面仅作为任务节点的开发与测试页面,如果您需要将代码发布到生产环境,您可以直接发布该工作流,从而批量发布该工作流下的节点。

  1. 单击手动工作流顶部的运行,进入工作流运行页面,测试各节点运行是否成功。

  2. 在工作流运行页面,单击顶部的返回,然后进行发布

  3. 单击开始发布生产后,您可选择增量发布全量发布

    • 增量发布:可选择部分内部节点任务进行发布。

    • 全量发布:全量发布手动工作流及所有内部节点任务。

  4. 在发布流程中,依次完成发布包构建开发检查器发布到开发环境生产检查器发布到生产环境步骤。

生产环境运行手动工作流

  1. 任务发布完成后,您可以单击发布界面的去运维,前往运维中心查看。

    说明

    您也可以前往DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > 数据运维,进入数据运维,然后在左侧导航栏找到手动任务运维

  2. 单击目标手动任务操作列的运行,来运行手动工作流。

其他操作

克隆手动工作流

您可通过克隆功能,快速克隆现有手动工作流以创建新的工作流。克隆内容包括工作流及其内部节点(含代码调试配置调度配置),以及节点间的依赖关系和工作流本身的调度配置

  1. 在左侧手动业务流程中,右键单击需要克隆的手动工作流名称。

  2. 在弹出菜单中选择克隆,进入克隆弹窗。

  3. 在弹窗中修改手动工作流名称路径(或保留默认值),单击确认开始克隆。

  4. 在克隆过程中,可通过弹窗查看克隆的当前进度持续时间完成节点数等详细信息。

  5. 克隆完成后,您可以在手动业务流程中查看新生成的手动工作流。

版本管理

系统支持通过版本管理功能将手动工作流还原到指定的历史版本,同时还提供版本查看与对比功能,方便您分析差异并做出调整。

  1. 在左侧手动业务流程中,双击目标手动工作流名称,进入工作流画布。

  2. 单击工作流画布右侧的版本,在版本页面查看和管理开发记录发布记录信息。

    • 查看版本

      1. 您可以在开发记录发布记录页签中,找到需要查看的手动工作流版本。

      2. 单击操作栏中的查看,在详情页中即可查看手动工作流代码以及调度配置信息。

        说明

        调度配置信息支持脚本模式可视化模式查看,您可在调度配置页签右上角切换查看模式。

    • 对比版本

      您可以在开发记录发布记录页签中,对不同版本的手动工作流进行对比。下面以开发记录为例,为您演示对比操作。

      • 开发或发布环境对比:在开发记录页签中,勾选两个版本,单击上方的选择对比按钮,即可对比不同版本的手动工作流代码信息和调度配置信息。

      • 开发与发布或构建环境对比

        1. 开发记录页签中,定位到手动工作流的某个版本。

        2. 单击操作栏中的对比按钮,在弹出的请选择对比的内容窗口中选择与发布记录构建记录中的某个版本进行对比。

    • 还原版本

      仅支持将开发记录中的手动工作流还原到指定的历史版本。您可在开发记录页签中找到目标版本,单击操作栏中的还原按钮,即可将该手动工作流信息还原至目标版本。

      说明

      还原时,系统会基于目标版本进行恢复,并生成一条新的版本记录。