典型场景:基于灵骏智算资源的数据集加速

更新时间: 2023-05-24 13:59:05

阿里云PAI为您提供了数据集加速器(DatasetAccelerator,简称DatasetAcc),在准备数据集时支持开启数据集加速功能,后续提交训练任务(DLC)时可直接使用已开启加速的数据集,提升数据读取效率。本文为您介绍基于灵骏智算资源场景下的数据集加速使用主要流程与注意事项。

支持的数据集类型

使用灵骏智算资源时,当前仅OSS类型的数据集支持加速,NAS、智算CPFS类型的数据集暂不支持加速。

创建数据集加速实例

授权并购买数据集加速实例,操作详情请参见云产品依赖与授权:DatasetAccelerator创建及管理数据集加速实例

开启数据集加速:已有数据集

主要流程如下。

  1. 创建一个可用于灵骏智能资源训练任务的数据集。

  2. 在数据集页面右上角单击数据集加速,选择上述步骤中创建的数据集加速实例并配置加速挂载点。

    配置数据集加速时需关注:

    加速挂载点挂载点类型需选择为VPC,且选择灵骏智算资源绑定的VPC与交换机。

  3. 完成配置后,可在数据集页面查看到加速数据集。

开启数据集加速:新建数据集

在新建数据集时,您可以直接打开数据集加速,并配置数据集加速实例,详细步骤请参见创建数据集并开启数据集加速

image..png

使用加速数据集

开启数据集加速后,后续在提交训练任务时即可选择已开启加速的数据集,提交训练任务的通用操作流程请参见通用流程

image..png

阿里云首页 机器学习平台 PAI 相关技术圈