准备工作

步骤一：准备资源

训练任务需要计算资源来运行。PAI提供以下三类资源，您只需选择其中一种即可：

• 公共资源

  系统自动为您准备公共资源，无需手动添加资源组。提交训练任务时，在新建任务页面选择公共资源即可。

• 通用计算资源

  购买通用计算资源后，创建专有资源组并通过资源配额将资源分配到工作空间。详情请参见通用计算资源配额。

• 灵骏智算资源

  如需高性能AI训练，准备灵骏智算资源并关联到工作空间。详情请参见创建资源配额。

步骤二：准备镜像

镜像是训练任务的运行环境。PAI支持以下三种镜像来源：

• 官方镜像

  PAI提供基于不同框架的官方镜像，针对阿里云服务进行了优化，兼容性和性能更好。前往PAI控制台的AI资产管理镜像页面，在镜像：页面的PAI官方镜像页签中，筛选使用子产品为DLC，即可查看支持DLC任务的镜像列表。

• 自定义镜像

  如果训练任务需要特殊环境或依赖，可使用自定义镜像。使用前，先将自定义镜像添加到PAI的AI资产中，便于多个训练任务直接选择。在工作空间的AI资产管理 > 镜像页面中添加镜像。操作详情请参见自定义镜像。

  重要

  使用灵骏智算资源提交训练任务时，如果选择自定义镜像，相关注意事项请参见RDMA：使用高性能网络进行分布式训练。

• 镜像地址

  提交训练任务时，支持直接填写自定义镜像或官方镜像的地址。您可以前往PAI控制台的AI资产管理镜像页面查看镜像地址。

步骤三：准备数据集

训练数据需要提前上传到存储服务，并创建为数据集，或直接挂载OSS数据、公共数据集。PAI支持OSS、通用型NAS、极速型NAS、CPFS和智算CPFS类型的数据集。

• 支持的数据集类型

  支持OSS、通用型NAS、极速型NAS、CPFS和智算CPFS类型的数据集。除智算CPFS外，其他类型均支持数据集加速功能，可提升数据读取效率。

• 创建数据集

  操作步骤和参数说明请参见创建及管理数据集。准备数据集时，请注意以下事项：

  • OSS限制：OSS是分布式对象存储，并非真正的文件系统，因此不支持文件系统的部分功能。例如，挂载OSS后，不支持对已存在的文件进行追加写和覆盖写。

  • CPFS专有网络：如果创建的数据集类型为文件存储（CPFS），则在提交训练任务时，需要配置专有网络，并选择与CPFS一致的专有网络。否则，DLC训练任务会运行异常，任务可能长时间处于环境准备中状态。

• 开启数据集加速功能

  开启数据集加速功能后，提交训练任务时可以直接使用已加速的数据集，提升数据读取效率。详情请参见在PAI平台使用数据集加速器。

步骤四：准备代码集

训练代码建议添加为PAI的AI资产，便于多个训练任务复用。在工作空间的AI资产管理 > 代码配置页面中添加代码。操作详情请参见代码配置。

后续步骤

完成准备工作后，您可以创建训练任务，详情请参见创建训练任务。