NAS/CPFS使用

更新时间:2025-03-17 10:12:25

您可以在PAI子产品DLC、DSWEAS中绑定NAS/CPFS类型数据集,用来存储训练和部署所需的文件及结果文件。本文以通用型NAS文件系统为例,为您介绍如何在PAI子产品中挂载NAS/CPFS类型数据集。

前提条件

已创建通用型NAS文件系统。具体操作,请参见创建文件系统

步骤一:创建NAS数据集

EAS中挂载NAS数据无需执行额外操作。而在DLCDSW中,您可以挂载NAS类型的数据集或直接挂载NAS数据。如果选择挂载NAS类型的数据集,您需要提前创建NAS类型数据集,其中关键配置说明如下:

重要

地域必须与DLC、DSW实例以及EAS服务的地域、数据和代码的存储地域保持一致。

参数

描述

参数

描述

数据集配置

存储类型

选择文件存储(通用型NAS)

版本配置

文件系统

配置为已创建的NAS文件系统的ID。您可以登录NAS控制台,在对应的地域,查看NAS文件系统ID。也可从下拉列表中查看拥有的NAS文件系统ID。

文件系统路径

挂载的NAS具体的路径,配置为/

默认挂载路径

NASDLC任务或DSW实例中的挂载路径,配置为/mnt/data/

步骤二:使用NAS数据集

创建NAS类型的数据集后,您可以在使用DLC、DSWEAS时,通过挂载NAS数据集来读取NAS文件系统中的数据。

在DLC中挂载NAS数据集
在DSW中挂载NAS数据集
在EAS中挂载NAS数据集

创建分布式训练(DLC)任务时,在环境信息区域绑定NAS存储。其中关键参数配置如下:image

参数

描述

数据集

单击自定义数据集,选择通用型NAS类型的数据集,并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问NAS文件系统中的数据。您也可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。

直接挂载

单击通用型NAS,配置文件系统的相关参数,并通过配置挂载路径,将数据集挂载到DLC容器的指定路径。当执行DLC任务时,系统会按照该路径访问NAS文件系统中的数据。您还可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。

此外,您可以在高级配置中,通过设置nconnect参数提升DLC容器访问NAS的吞吐性能。nconnectNFS客户端Linux挂载选项,通过在客户端和服务器之间建立更多的TCP传输连接来提高吞吐性能。建议将nconnect设置为4,命令示例如下。

{"nconnect":"4"}

创建DSW实例时,绑定NAS类型数据集,其中关键参数配置如下:image

  • 数据集挂载:通过配置以下两个参数来挂载数据集。

    • 自定义数据集:单击image,选择已创建的文件存储-通用型NAS类型的数据集。

    • 挂载路径:选择数据集后,系统将自动关联数据集中配置的挂载路径。在DSW的开发环境中,您可以通过该路径来访问NAS文件系统中的数据。

  • 工作目录:默认会将系统盘目录挂载至/mnt/workspace。您也可以在下拉列表中选择已挂载的数据集,系统会将数据集同步挂载到DSW工作目录/mnt/workspace中。

部署EAS服务时,绑定NAS类型数据集。其中关键参数配置说明如下:image

环境信息区域进行模型配置,挂载类型选择通用型NAS,并配置以下参数:

  • 选择文件系统:选择NAS文件系统。

  • 文件系统挂载点:选择挂载点,EAS服务通过挂载点来访问NAS文件系统。

  • 文件系统路径:需要挂载的NAS中的源路径,即NAS实例内部的文件系统路径。

  • 挂载路径:挂载到服务实例中的目标路径,用来读取NAS路径中的文件。

  • 本页导读 (1)
  • 前提条件
  • 步骤一:创建NAS数据集
  • 步骤二:使用NAS数据集