PAI挂载CPFS智算版文件系统

更新时间:

CPFS智算版与阿里云人工智能平台PAI(Platform For AI)无缝集成,您可以在PAI子产品DLC、DSW、EAS中绑定CPFS智算版作为数据集用来存储训练和部署所需的文件及结果文件。本文介绍如何在PAI子产品中挂载CPFS智算版类型数据集。

前提条件

已创建CPFS智算版文件系统,详情请参见创建文件系统

说明

灵骏智算单租户版使用CPFS智算版文件系统,只需要在创建集群时,在软件实例基本参数CPFS页签中配置CPFS智算版信息。配置完成后,将在灵骏集群自动化部署阶段完成集群初始化及挂载文件系统。更多信息,请参见创建带有ACK灵骏托管版的集群

创建CPFS智算版数据集

EAS中挂载CPFS智算版无需创建数据集。而在DLCDSW中,您可以挂载智算CPFS类型的数据集或直接挂载智算CPFS文件系统。如果选择挂载智算CPFS类型的数据集,则需要提前创建CPFS智算版数据集。其中关键参数配置如下:

参数

描述

数据集配置

存储类型

选择文件存储(智算CPFS)

导入配置

文件系统

配置为已创建的CPFS智算版文件系统的ID。您可以登录NAS控制台,在对应的地域,查看CPFS智算版文件系统ID。也可从下拉列表中查看拥有的CPFS智算版文件系统ID。

文件系统路径

挂载的CPFS智算版具体的路径。例如,配置为/

默认挂载路径

CPFS智算版在DLC任务或DSW实例中的挂载路径。例如,配置为/mnt/data/

使用CPFS智算版数据集

创建数据集后,可以在使用DLC、DSWEAS时,通过挂载智算数据集来读取智算CPFS文件系统中的数据。

DLC中挂载

创建分布式训练(DLC)任务时,在环境信息区域绑定CPFS智算版文件系统。其中关键参数配置如下:

image

参数

说明

数据集

单击自定义数据集,选择智算CPFS类型的数据集,并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问智算CPFS文件系统中的数据。您也可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。

直接挂载

仅灵骏智算资源的任务可以使用BMCPFS数据源。单击BMCPFS,配置文件系统的相关参数,并通过配置挂载路径,将数据集挂载到DLC容器的指定路径。

当执行DLC任务时,系统会按照该路径访问智算CPFS文件系统中的数据。您还可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。

重要

如果任务为通用计算资源的任务,则必须配置专有网络,且选择的专有网络需要与智算CPFS一致。否则,提交的DLC训练任务可能长时间处于环境准备中状态。如果CPFS智算版文件系统还未配置专有网络信息,请为其添加VPC挂载点,配置专有网络。

DSW中挂载

创建DSW实例时,绑定CPFS智算版类型数据集,其中关键参数配置如下:

参数

说明

自定义数据集

单击image,选择已创建的文件存储-智算CPFS类型的数据集。

挂载路径

选择数据集后,系统将自动关联数据集中配置的挂载路径。在DSW的开发环境中,您可以通过该路径来访问智算CPFS文件系统中的数据。

说明

如果资源配额设置为通用计算资源时,必须配置专有网络,且选择的专有网络需要与智算CPFS一致。如果CPFS智算版文件系统还未配置专有网络信息,请为其添加VPC挂载点,配置专有网络。

EAS中挂载

在使用灵骏智算资源部署EAS服务时,挂载CPFS智算版文件系统。其中关键参数配置说明如下:

环境信息区域进行模型配置,挂载类型选择智算CPFS,并配置以下参数:

  • 文件系统:选择CPFS智算版文件系统。

  • 源路径:需要挂载的CPFS智算版中的源路径,即CPFS智算版实例内部的文件系统路径。

  • 挂载路径:挂载到服务实例中的目标路径,用来读取CPFS智算版路径中的文件。

相关文档