使用DataWorks离线调度Designer工作流

离线调度功能是机器学习的常见场景,您需要通过离线调度功能周期性地更新模型,帮助您构建模型训练的Pipeline。PAI Designer支持与DataWorks互通,实现PAI Designer工作流的周期性调度。本文为您介绍如何使用DataWorks实现PAI Designer工作流的离线调度。

前提条件

已创建业务流程,具体操作,详情请参见创建业务流程

重要

创建业务流程时选择的工作空间,需要与Designer工作流所在的工作空间相同。否则,在创建离线调度任务时,路径将无法选择已创建的业务流程。

背景信息

  • 工作流的所有节点都运行成功后,您可以部署整个工作流流程至离线调度,以进行定时运行。

    说明

    在离线调度节点之前,请确保工作流中的所有节点已成功运行,并且已开通DataWorks服务。详情请参见创建工作空间

  • PAI-Designer工作流与DataWorks数据开发中的Designer节点个数的比例为1∶N,您可以基于同一个PAI-Designer工作流,在DataWorks数据开发中创建多个Designer类型的节点。

操作步骤

  1. 登录PAI控制台,并进入Designer中已创建的工作流页面。

    以创建心脏病预测案例为例,创建及进入工作流页面的操作详情请参见心脏病预测

  2. 单击画布左上方的周期性调度 > 新建调度节点,跳转到DataWorks进行离线调度,在新建节点对话框配置节点名称,单击确认

  3. 在节点的编辑页面,从选择PAI Designer实验下拉列表中选择已创建的PAI Designer工作流。

    如果您需要修改PAI Designer工作流,请单击PAI Designer编辑,进入工作流编辑页面进行编辑。编辑页面

  4. 单击节点编辑区域右侧的调度配置,配置节点的调度属性。

    调度配置调度配置面板中,包含基础属性参数时间属性资源属性调度依赖等配置项。您可以在时间属性区域配置调度周期,后续DataWorks会根据配置的调度周期自动调度运行节点任务。具体配置详情请参见调度配置

  5. 单击工具栏中的保存提交图标,根据界面提示,保存并提交节点。

    重要

    您需要设置节点的重跑属性依赖的上游节点才可以提交节点。

    如果您使用的是标准模式的工作空间,在提交成功后,请单击页面上方的任务发布,具体操作请参见发布任务

  6. 单击页面上方的运维中心,查看机器学习任务的运行情况和操作日志。

    您也可以直接进行补数据、工作流试跑等操作,详情请参见查看并管理周期任务