PAI挂载CPFS智算版文件系统

更新时间:

CPFS智算版支持挂载在不同的PAI计算资源中使用,不同的PAI计算资源挂载CPFS智算版文件系统的方式不一样,请根据实际资源类型挂载CPFS智算版文件系统。

前提条件

灵骏智算资源

创建数据集

首次使用数据集相关功能时,请确认已为账号授予数据集管理及数据存储类型(如OSS、NAS/CPFS)相关的访问权限。更多信息,请参见操作授权

  1. 登录PAI控制台

  2. 在顶部左上角根据实际情况选择地域。

  3. 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间。

  4. 在左侧导航栏选择AI资产管理 > 数据集

  5. 自定义数据集 > 基础数据集页签下单击新建数据集,在创建数据集时,数据存储类型选择为文件存储(智算CPFS),其他关键参数配置如下:

    参数

    描述

    类型

    选择数据的类型,支持图片、文本、音频、视频、表格、通用。如果选择了特定类型,则在后续的标注场景中,系统会帮您进行数据集筛选。

    所有者

    选择数据集所有者。仅工作空间管理员可配置该参数

    选择文件系统

    选择文件系统,和数据存储类型对应。

    文件系统挂载点

    配置挂载点来访问CPFS智算版文件系统。

    文件系统路径

    配置CPFS中已有的存储路径。例如/

    默认挂载路径

    数据的默认挂载路径,常用于DSWDLC中:

    • DSW中,创建实例时,可以将已创建的文件系统挂载到该路径。

    • DLC中,运行代码时,系统会在该目录下寻找文件,例如python /root/data/file.py

  6. 单击提交

挂载数据集

使用灵骏智算资源提交DLC训练任务或创建DSW实例时,选择刚创建的CPFS智算版数据集,作为DLCDSW任务训练时的存储系统。

  • 提交DLC训练任务选择灵骏资源配额和数据集。具体操作,请参见创建训练任务

  • 基于灵骏智算资源在DSW中开发模型。具体操作,请参见创建DSW实例

通用计算资源

创建数据集

首次使用数据集相关功能时,请确认已为账号授予数据集管理及数据存储类型(如OSS、NAS/CPFS)相关的访问权限。更多信息,请参见操作授权

  1. 登录PAI控制台

  2. 在顶部左上角根据实际情况选择地域。

  3. 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间。

  4. 在左侧导航栏选择AI资产管理 > 数据集

  5. 自定义数据集 > 基础数据集页签下单击新建数据集,在创建数据集时,数据存储类型选择为文件存储(智算CPFS),其他关键参数配置如下:

    参数

    描述

    类型

    选择数据的类型,支持图片、文本、音频、视频、表格、通用。如果选择了特定类型,则在后续的标注场景中,系统会帮您进行数据集筛选。

    所有者

    选择数据集所有者。仅工作空间管理员可配置该参数

    选择文件系统

    选择文件系统,和数据存储类型对应。

    文件系统挂载点

    配置挂载点来访问CPFS智算版文件系统。

    文件系统路径

    配置CPFS中已有的存储路径。例如/

    默认挂载路径

    数据的默认挂载路径,常用于DSWDLC中:

    • DSW中,创建实例时,可以将已创建的文件系统挂载到该路径。

    • DLC中,运行代码时,系统会在该目录下寻找文件,例如python /root/data/file.py

  6. 单击提交

挂载数据集

使用通用计算资源提交DLC训练任务或创建DSW实例时,选择刚创建的CPFS智算版数据集,作为DLCDSW任务训练时的存储系统。

灵骏智算资源(单租户版)

创建集群时,在软件实例基本参数CPFS页签中配置CPFS智算版信息。配置完成后,将在灵骏集群自动化部署阶段完成集群初始化及挂载文件系统。具体操作,请参见创建带有ACK灵骏托管版的集群