在PAI平台创建数据集时,支持开启AI加速:数据集加速功能。您可以在创建DSW实例或提交DLC任务时,直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍如何在PAI平台使用数据集加速器。
前提条件
已创建数据集加速实例,具体操作,请参见创建及管理数据集加速实例。
开启数据集加速:新建数据集
-
在数据集页面创建数据集,并配置以下关键参数,更多详细内容,请参见创建及管理数据集。
参数
描述
创建方式
选择从阿里云云产品。
开启数据集加速
选中开启数据集加速,并配置相关参数,即可开启数据集加速功能。勾选 开启数据集加速 后,还需配置 读写属性,加速挂载点 支持 选择挂载点、新建挂载点 和 使用内部挂载点 三种方式,加速数据集默认挂载路径 默认为
/mnt/datasetacc。根据已选择的数据存储类型,选择所属数据集加速实例,并配置数据集加速槽相关参数,包括加速槽名称、最大容量、加速挂载点等,配置详情请参见创建及管理数据集加速槽。
-
单击提交。
成功创建的数据集将显示在数据集列表中,其中已开启加速功能的数据集会在列表中显示加速状态。提交后,在数据集列表中可查看新建的数据集记录,包括数据来源、存储类型、属性、可见范围、修改时间等信息。
开启数据集加速:已有数据集
-
在数据集页面,单击数据集名称,进入数据集详情页面。具体操作请参见创建及管理数据集。
-
在数据集详情页面右上角单击数据集加速,选择所属数据集加速实例,并配置数据集加速槽相关参数。具体配置详情,请参见创建及管理数据集加速槽。
-
单击提交,即可为该数据集开启加速功能。
使用数据集加速器
您可以在创建DSW实例或提交DLC任务时使用数据集加速器。
-
创建DSW实例时,存储配置选择开启加速功能的数据集即可,详情请参见创建及管理DSW实例。创建 DSW 实例时,在存储配置的共享数据集区域,从下拉列表中选择已开启加速功能的数据集(支持 OSS、NAS、CPFS 类型),并设置挂载路径(如
/mnt/data/)。 -
提交DLC任务时,数据集配置选择开启加速功能的数据集即可,详情请参见创建训练任务。在环境信息区域,将配置类型设为按数据集,单击数据集输入框旁的编辑图标打开数据集选择弹窗,切换到加速数据集页签,选中目标数据集完成挂载。