在DLC训练任务中使用云存储

在提交DLC训练任务时,您可以通过代码配置或挂载的方式配置OSS、NAS、CPFSMaxCompute存储,从而方便地在训练过程中直接读写相应存储中的数据。本文为您介绍如何在DLC训练任务中进行OSS、MaxCompute、NASCPFS的存储配置。

前提条件

使用OSS存储

通过挂载方式进行OSS存储配置

在创建分布式训练(DLC)任务时,挂载OSS数据。支持以下几种挂载类型,具体配置方法,请参见创建训练任务image

挂载类型

描述

自定义数据集

选择对象存储OSS类型的数据集。并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问OSS中的数据。

对象存储(OSS)

选择OSS Bucket存储路径,并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问OSS中的数据。

当前DLC底层使用JindoFuse来挂载OSS。使用DLC的默认配置有功能限制(详情请参见JindoFuse),并不适合所有的场景。您可以通过调整参数,来适配具体的场景。具体操作步骤如下:

  1. 准备目标场景的代码文件,详情请参见JindoFuse

  2. 将代码文件上传到OSS Bucket存储路径中,详情请参见控制台快速入门

    后续在执行DLC任务时,系统会按照上述已配置的挂载路径,来获取代码文件。

通过非挂载方式进行OSS存储配置

DLC任务支持使用OSS Pytorch ConnectorOSS SDK来读写OSS数据。您可以在创建训练任务时,通过代码配置来配置相关代码文件。具体代码示例,请参见OSS Pytorch ConnectorOSS SDKimage

使用NAS/CPFS存储

通过挂载的方式进行NAS/CPFS存储配置。您可以在创建分布式训练(DLC)任务时,绑定NAS/CPFS类型数据集。具体配置方法,请参见NAS使用image

使用MaxCompute存储

通过非挂载的方式进行MaxCompute存储配置。您可以在创建训练任务时,通过代码配置来配置相关代码文件。具体代码示例,请参见MaxCompute使用image