PAI挂载CPFS智算版文件系统
CPFS智算版支持挂载在不同的PAI计算资源中使用,不同的PAI计算资源挂载CPFS智算版文件系统的方式不一样,请根据实际资源类型挂载CPFS智算版文件系统。
前提条件
已创建CPFS智算版文件系统,详情请参见创建文件系统。
已开通PAI并创建默认工作空间,详情请参见开通PAI并创建默认工作空间。
灵骏智算资源挂载CPFS智算版文件系统前,请确认以下资源已准备完成。
已为CPFS智算版文件系统添加VPC挂载点,详情请参见添加VPC挂载点。
已提交工单,申请添加灵骏智算使用白名单。
当前仅白名单用户可受限使用灵骏智算资源。
已新建资源组并购买灵骏智算资源,详情请参见新建资源组并购买灵骏智算资源。
已为灵骏智算资源配置资源配额,详情请参见灵骏智算资源配额。
通用计算资源挂载CPFS智算版文件系统前,请确认以下资源已准备完成。
已为CPFS智算版文件系统添加VPC挂载点,详情请参见添加VPC挂载点。
已新建资源组并购买通用计算资源,详情请参见新建资源组并购买通用计算资源。
已为通用计算资源配置资源配额,详情请参见通用计算资源配额。
灵骏智算资源(单租户版)挂载CPFS智算版文件系统前,请确认以下资源已准备完成。
已根据业务需求,购买并配置好所需的其他云产品,例如CEN、ARMS、VPC,ACK灵骏托管版等。更多信息,请参见开通并配置其他云产品。
灵骏智算资源
创建数据集
首次使用数据集相关功能时,请确认已为账号授予数据集管理及数据存储类型(如OSS、NAS/CPFS)相关的访问权限。更多信息,请参见操作授权。
登录PAI控制台。
在顶部左上角根据实际情况选择地域。
在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间。
在左侧导航栏选择AI资产管理 > 数据集。
在自定义数据集 > 基础数据集页签下单击新建数据集,在创建数据集时,数据存储类型选择为文件存储(智算CPFS),其他关键参数配置如下:
参数
描述
类型
选择数据的类型,支持图片、文本、音频、视频、表格、通用。如果选择了特定类型,则在后续的标注场景中,系统会帮您进行数据集筛选。
所有者
选择数据集所有者。仅工作空间管理员可配置该参数。
选择文件系统
选择文件系统,和数据存储类型对应。
文件系统挂载点
配置挂载点来访问CPFS智算版文件系统。
文件系统路径
配置CPFS中已有的存储路径。例如
/
。默认挂载路径
数据的默认挂载路径,常用于DSW和DLC中:
在DSW中,创建实例时,可以将已创建的文件系统挂载到该路径。
在DLC中,运行代码时,系统会在该目录下寻找文件,例如
python /root/data/file.py
。
单击提交。
挂载数据集
使用灵骏智算资源提交DLC训练任务或创建DSW实例时,选择刚创建的CPFS智算版数据集,作为DLC或DSW任务训练时的存储系统。
通用计算资源
创建数据集
首次使用数据集相关功能时,请确认已为账号授予数据集管理及数据存储类型(如OSS、NAS/CPFS)相关的访问权限。更多信息,请参见操作授权。
登录PAI控制台。
在顶部左上角根据实际情况选择地域。
在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间。
在左侧导航栏选择AI资产管理 > 数据集。
在自定义数据集 > 基础数据集页签下单击新建数据集,在创建数据集时,数据存储类型选择为文件存储(智算CPFS),其他关键参数配置如下:
参数
描述
类型
选择数据的类型,支持图片、文本、音频、视频、表格、通用。如果选择了特定类型,则在后续的标注场景中,系统会帮您进行数据集筛选。
所有者
选择数据集所有者。仅工作空间管理员可配置该参数。
选择文件系统
选择文件系统,和数据存储类型对应。
文件系统挂载点
配置挂载点来访问CPFS智算版文件系统。
文件系统路径
配置CPFS中已有的存储路径。例如
/
。默认挂载路径
数据的默认挂载路径,常用于DSW和DLC中:
在DSW中,创建实例时,可以将已创建的文件系统挂载到该路径。
在DLC中,运行代码时,系统会在该目录下寻找文件,例如
python /root/data/file.py
。
单击提交。
挂载数据集
使用通用计算资源提交DLC训练任务或创建DSW实例时,选择刚创建的CPFS智算版数据集,作为DLC或DSW任务训练时的存储系统。
灵骏智算资源(单租户版)
创建集群时,在软件实例基本参数的CPFS页签中配置CPFS智算版信息。配置完成后,将在灵骏集群自动化部署阶段完成集群初始化及挂载文件系统。具体操作,请参见创建带有ACK灵骏托管版的集群。