在PAI平台使用数据集加速器

更新时间:
复制 MD 格式

PAI平台创建数据集时,开启数据集加速功能可提升训练数据读取效率。开启后,在创建DSW实例或提交DLC任务时挂载该数据集即可生效。

前提条件

已创建数据集加速实例,请参见创建及管理数据集加速实例

开启数据集加速:新建数据集

  1. 数据集页面创建数据集,配置以下关键参数,详情请参见创建及管理数据集

    参数

    描述

    创建方式

    选择从阿里云云产品

    开启数据集加速

    选中开启数据集加速,配置读写属性加速挂载点(支持选择挂载点新建挂载点使用内部挂载点),挂载路径默认为/mnt/datasetacc

    根据已选择的数据存储类型,选择所属数据集加速实例,并配置数据集加速槽相关参数,包括加速槽名称、最大容量、加速挂载点等,配置详情请参见创建及管理数据集加速槽

  2. 单击提交

    数据集创建成功后,在数据集列表中可查看新建记录,已开启加速的数据集会显示加速状态。

开启数据集加速:已有数据集

  1. 数据集页面,单击数据集名称,进入数据集详情页面。具体操作请参见创建及管理数据集

  2. 数据集详情页面右上角单击数据集加速,选择所属数据集加速实例,配置数据集加速槽参数。详情请参见创建及管理数据集加速槽

  3. 单击提交,即可为该数据集开启加速功能。

使用数据集加速器

您可以在创建DSW实例或提交DLC任务时使用数据集加速器。

  • 创建DSW实例时,在存储配置的共享数据集区域,选择已开启加速功能的数据集(支持OSS、NAS、CPFS类型),设置挂载路径(如/mnt/data/)。详情请参见创建及管理DSW实例

  • 提交DLC任务时,在环境信息区域,将配置类型设为按数据集,单击数据集输入框旁的编辑图标打开数据集选择弹窗,切换到加速数据集页签,选中目标数据集完成挂载。详情请参见创建训练任务