您可以在PAI子产品DLC、DSW或EAS中绑定NAS/CPFS类型数据集,用来存储训练和部署所需的文件及结果文件。本文以通用型NAS文件系统为例,为您介绍如何在PAI子产品中挂载NAS/CPFS类型数据集。
前提条件
已创建通用型NAS文件系统。具体操作,请参见创建文件系统。
步骤一:创建NAS数据集
在EAS中挂载NAS数据无需执行额外操作。而在DLC和DSW中,您可以挂载NAS类型的数据集或直接挂载NAS数据。如果选择挂载NAS类型的数据集,您需要提前创建NAS类型数据集,其中关键配置说明如下:
地域必须与DLC、DSW实例以及EAS服务的地域、数据和代码的存储地域保持一致。
参数 | 描述 |
参数 | 描述 | |
数据集配置 | 存储类型 | 选择文件存储(通用型NAS)。 |
版本配置 | 文件系统 | 配置为已创建的NAS文件系统的ID。您可以登录NAS控制台,在对应的地域,查看NAS文件系统ID。也可从下拉列表中查看拥有的NAS文件系统ID。 |
文件系统路径 | 挂载的NAS具体的路径,配置为 | |
默认挂载路径 | NAS在DLC任务或DSW实例中的挂载路径,配置为 |
步骤二:使用NAS数据集
创建NAS类型的数据集后,您可以在使用DLC、DSW或EAS时,通过挂载NAS数据集来读取NAS文件系统中的数据。
创建分布式训练(DLC)任务时,在环境信息区域绑定NAS存储。其中关键参数配置如下:
参数 | 描述 |
数据集 | 单击自定义数据集,选择通用型NAS类型的数据集,并配置挂载路径。当执行DLC任务时,系统会按照该路径来访问NAS文件系统中的数据。您也可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。 |
直接挂载 | 单击通用型NAS,配置文件系统的相关参数,并通过配置挂载路径,将数据集挂载到DLC容器的指定路径。当执行DLC任务时,系统会按照该路径访问NAS文件系统中的数据。您还可以通过是否只读开关,来设置读写权限,实现权限的精细化管理。 此外,您可以在高级配置中,通过设置nconnect参数提升DLC容器访问NAS的吞吐性能。nconnect是NFS客户端Linux挂载选项,通过在客户端和服务器之间建立更多的TCP传输连接来提高吞吐性能。建议将nconnect设置为4,命令示例如下。
|
在创建DSW实例时,绑定NAS类型数据集,其中关键参数配置如下:
数据集挂载:通过配置以下两个参数来挂载数据集。
自定义数据集:单击
,选择已创建的文件存储-通用型NAS类型的数据集。
挂载路径:选择数据集后,系统将自动关联数据集中配置的挂载路径。在DSW的开发环境中,您可以通过该路径来访问NAS文件系统中的数据。
工作目录:默认会将系统盘目录挂载至/mnt/workspace。您也可以在下拉列表中选择已挂载的数据集,系统会将数据集同步挂载到DSW工作目录/mnt/workspace中。
在部署EAS服务时,绑定NAS类型数据集。其中关键参数配置说明如下:
在环境信息区域进行模型配置,挂载类型选择通用型NAS,并配置以下参数:
选择文件系统:选择NAS文件系统。
文件系统挂载点:选择挂载点,EAS服务通过挂载点来访问NAS文件系统。
文件系统路径:需要挂载的NAS中的源路径,即NAS实例内部的文件系统路径。
挂载路径:挂载到服务实例中的目标路径,用来读取NAS路径中的文件。
- 本页导读 (1)
- 前提条件
- 步骤一:创建NAS数据集
- 步骤二:使用NAS数据集