PAI挂载CPFS智算版文件系统
CPFS智算版与阿里云人工智能平台PAI(Platform For AI)无缝集成,您可以在PAI子产品DLC、DSW、EAS中绑定CPFS智算版作为数据集用来存储训练和部署所需的文件及结果文件。本文介绍如何在PAI子产品中挂载CPFS智算版类型数据集。
前提条件
已创建CPFS智算版文件系统,详情请参见创建文件系统。
灵骏智算单租户版使用CPFS智算版文件系统,只需要在创建集群时,在软件实例基本参数的CPFS页签中配置CPFS智算版信息。配置完成后,将在灵骏集群自动化部署阶段完成集群初始化及挂载文件系统。更多信息,请参见创建带有ACK灵骏托管版的集群。
创建CPFS智算版数据集
在EAS中挂载CPFS智算版无需创建数据集。而在DLC和DSW中,您可以挂载智算CPFS类型的数据集或直接挂载智算CPFS文件系统。如果选择挂载智算CPFS类型的数据集,则需要提前创建CPFS智算版数据集。其中关键参数配置如下:
参数 | 描述 | |
数据集配置 | 存储类型 | 选择文件存储(智算CPFS)。 |
导入配置 | 文件系统 | 配置为已创建的CPFS智算版文件系统的ID。您可以登录NAS控制台,在对应的地域,查看CPFS智算版文件系统ID。也可从下拉列表中查看拥有的CPFS智算版文件系统ID。 |
文件系统路径 | 挂载的CPFS智算版具体的路径。例如,配置为 | |
默认挂载路径 | CPFS智算版在DLC任务或DSW实例中的挂载路径。例如,配置为 |
使用CPFS智算版数据集
创建数据集后,可以在使用DLC、DSW或EAS时,通过挂载智算数据集来读取智算CPFS文件系统中的数据。
在DLC中挂载
创建分布式训练(DLC)任务时,在环境信息区域绑定CPFS智算版文件系统。其中关键参数配置如下:
参数 | 说明 |
数据集 | 单击自定义数据集,选择智算CPFS类型的数据集,并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问智算CPFS文件系统中的数据。您也可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。 |
直接挂载 | 仅灵骏智算资源的任务可以使用BMCPFS数据源。单击BMCPFS,配置文件系统的相关参数,并通过配置挂载路径,将数据集挂载到DLC容器的指定路径。 当执行DLC任务时,系统会按照该路径访问智算CPFS文件系统中的数据。您还可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。 |
如果任务为通用计算资源的任务,则必须配置专有网络,且选择的专有网络需要与智算CPFS一致。否则,提交的DLC训练任务可能长时间处于环境准备中状态。如果CPFS智算版文件系统还未配置专有网络信息,请为其添加VPC挂载点,配置专有网络。
在DSW中挂载
在创建DSW实例时,绑定CPFS智算版类型数据集,其中关键参数配置如下:
参数 | 说明 |
自定义数据集 | 单击 |
挂载路径 | 选择数据集后,系统将自动关联数据集中配置的挂载路径。在DSW的开发环境中,您可以通过该路径来访问智算CPFS文件系统中的数据。 |
如果资源配额设置为通用计算资源时,必须配置专有网络,且选择的专有网络需要与智算CPFS一致。如果CPFS智算版文件系统还未配置专有网络信息,请为其添加VPC挂载点,配置专有网络。
在EAS中挂载
在使用灵骏智算资源部署EAS服务时,挂载CPFS智算版文件系统。其中关键参数配置说明如下:
在环境信息区域进行模型配置,挂载类型选择智算CPFS,并配置以下参数:
文件系统:选择CPFS智算版文件系统。
源路径:需要挂载的CPFS智算版中的源路径,即CPFS智算版实例内部的文件系统路径。
挂载路径:挂载到服务实例中的目标路径,用来读取CPFS智算版路径中的文件。
相关文档
如果您需要实现OSS的数据流动至CPFS智算版或将CPFS智算版的数据流动至OSS,请参见CPFS智算版数据流动(邀测)。
如果您想管理文件系统中某个目录的使用容量、可创建文件数,请参见Fileset配额管理。
如果您想了解文件系统的性能,请参见数据监控。