创建PAI_DESIGNER任务

更新时间: 2024-10-28 17:11:34

机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务,并按照节点配置进行调度生产。本文为您介绍如何创建PAI_DESIGNER任务。

前提条件

在开始执行操作前,请确认您已满足以下条件:

使用限制

  • 当前Dataphin仅支持导入基于MaxCompute计算资源创建的Designer工作流。

  • 仅计算引擎为MaxCompute的Dataphin支持新建机器学习PAI_DESIGNER任务。

  • 仅支持新版本,可视化建模(Designer)的集成。

  • 在创建可视化建模的工作空间时,资源需选择为基于MaxCompute的计算资源方式。

  • 在配置PAI空间时,使用MaxCompute离线计算引擎的AK需要将调度的工作流发布为工作空间可见,Dataphin获取的是AK下公开及私有的工作流。

  • PAI任务使用的MaxCompute计算量不计入资产全景中的项目的计算量中。

  • PAI的参数输入需要在PAI Designer任务上进行参数的配置。

  • PAI Designer工作流中的读数据表及写数据表中若有跨项目的表的数据访问,不能支持访问的数据表的生产开发环境的自动切换,需指定访问的数据环境。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中选择数据处理 > 计算任务,在计算任务列表中单击image图标,选择PAI_DESIGNER

  4. 新建PAI_DESIGNER任务对话框中,配置以下参数。

    参数

    描述

    名称

    填写离线计算任务的名称。

    长度不超过256个字符,不支持竖线(|)、正斜线(/)、反斜线(\)、半角冒号(:)、半角问号(?)、尖括号(<>)、星号(*)和半角引号(")。

    调度类型

    选择机器学习任务后续调度的类型,支持选择周期性节点手动节点,详细说明如下:

    • 周期性节点:即创建的机器学习任务为周期任务,后续会自动参与Dataphin的调度,更多关于周期任务的描述,请参见调度方式说明

    • 手动节点:即创建的PAI_DESIGNER任务为手动任务,后续调度需要您手动触发,更多关于手动任务的描述,请参见查看并管理手动任务

    选择目录

    选择任务所存放的目录。

    若未创建目录,您可以新建文件夹,操作方法如下:

    1. 在页面左侧计算任务列表上方单击image图标,打开新建文件夹对话框。

    2. 新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。

    3. 单击确定

    描述

    填写对机器学习任务的简单描述,1000个字符以内。

  5. 单击确定

  6. 在当前PAI_DESIGNER任务页签下,单击代码编辑区域上方的导入工作流,导入已开发好的工作流。

    说明
    • 导入后,为您展示在机器学习中开发的工作流。同时,您也可以单击页面上方的去编辑工作流,进入机器学习中生成该工作流的页面进行编辑,如何编辑请参见创建及管理工作流
    • 若导入后未显示工作流,您可以单击页面上方的刷新工作流,刷新机器学习任务中的工作流。

  7. 单击页面右侧边栏的属性,在属性面板中配置任务的基本信息运行参数调度属性(周期任务)、调度依赖(周期任务)、运行配置资源配置

    • 基本信息

      用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明,请参见配置任务基本信息

    • 运行参数

      若您的任务中调用了参数变量,您可在属性中对参数进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。配置说明,请参见配置离线任务运行参数

    • 调度属性(周期任务)

      如果离线计算任务的调度类型为周期任务,除属性基本信息外,还需配置任务的调度属性及调度依赖。配置说明,请参见离线任务调度属性配置

    • 调度依赖(周期任务)

      如果离线计算任务的调度类型为周期任务,除属性基本信息外,还需要配置任务的调度依赖。配置说明,请参见配置离线任务调度依赖

    • 运行配置

      您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见计算任务运行配置

    • 资源配置

      您可为当前计算任务配置调度资源组,计算任务调度时将占用该资源组的资源配额。配置说明,请参见计算任务资源配置

  8. 在当前PAI_DESIGNER任务页签下,保存并提交当前任务。

    1. 单击代码编辑区域上方的image图标,保存代码。

    2. 单击代码编辑区域上方的image图标,提交代码。

  9. 提交详情页面中,需确认提交内容前置检查的结果,并填写备注信息。更多信息,请参见离线计算任务提交说明

  10. 确认完成后,单击确定并提交

后续步骤

  • 如果您的开发模式是Dev-Prod模式,任务提交成功后还需前往发布列表,将任务发布至生产环境。更多信息,请参见管理发布任务

  • 如果您的开发模式是Basic模式,则提交成功后的PAI_DESIGNER任务,即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息,请参见查看并管理脚本任务查看并管理手动任务

上一篇: 创建HOLOGRES_SQL任务 下一篇: 离线任务属性
阿里云首页 智能数据建设与治理 Dataphin 相关技术圈