如何创建数据集和挂载数据集_人工智能平台 PAI(PAI)-阿里云帮助中心

在DSW中挂载数据集或直接挂载OSS路径，可以在云端环境中便捷地访问和处理数据，方便多用户间的数据共享和协作，简化数据管理和维护，以及确保数据的一致性和实时性。本文为您介绍DSW挂载配置。

背景信息

系统为使用公共资源组创建的DSW实例提供一定存储空间的云盘，用于持久化存储。如果该实例停机超过15天未开机，云盘的内容将被清空。而使用专有资源组创建的DSW实例则提供非持久化的本地存储。如果您需要持久化存储DSW数据，需要创建NAS、OSS或CPFS类型的数据集，并将数据集挂载到DSW指定的路径，以实现在DSW中读写数据集数据。

挂载模式

DSW的挂载项不同，支持的挂载模式不同，详情请参见下表。

挂载项		支持的挂载模式
挂载自定义数据集	非OSS类型数据集	无挂载模式。
	OSS类型数据集	快速读写：允许用户读写，读取速度快，但并发读写可能会出现数据不一致的问题，适合挂载训练数据和模型，不适合作为工作目录。增量读写：在增量写入时能够保证数据一致性，覆盖原有数据会有一致性问题。读取速度略慢，适合保存训练的模型权重文件。读写一致：在并发读写中能保持数据一致性，适用于对数据一致性要求高，可以容忍读取速度慢的场景，适合保存代码项目。只读：仅允许读取，不允许写入，适合挂载公共数据集。自定义配置：单击展开Jindo配置，可以自行配置Jindo属性和参数。
挂载公共数据集
挂载OSS路径

各挂载模式对应的Jindo配置详情如下，更多Jindo使用详情，请参见JindoFuse使用指南。

快速读写：允许用户读写，读取速度快，但并发读写可能会出现数据不一致的问题，适合挂载训练数据和模型，不适合作为工作目录。

{
  "fs.oss.download.thread.concurrency": "cpu核数2倍",
  "fs.oss.upload.thread.concurrency": "cpu核数2倍",
  "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}

增量读写：在增量写入时能够保证数据一致性，覆盖原有数据会有一致性问题。读取速度略慢，适合保存训练的模型权重文件。
```
{
  "fs.oss.upload.thread.concurrency": "cpu核数2倍",
  "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}
```
读写一致：在并发读写中能保持数据一致性，适用于对数据一致性要求高，可以容忍读取速度慢的场景，适合保存代码项目。
```
{
  "fs.jindo.args": "-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}
```

只读：仅允许读取，不允许写入，适合挂载公共数据集。

{
  "fs.oss.download.thread.concurrency": "cpu核数2倍",
  "fs.jindo.args": "-oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink"
}

使用限制

多个数据集挂载的路径不能重复。
在OSS挂载的目录下，不建议进行频繁的写操作。

挂载自定义数据集

步骤一：创建数据集

在AI资产管理>数据集页面创建自定义数据集。由于DSW只能挂载目录，不能挂载文件，因此，属性只能选择文件夹。

具体操作，请参见创建及管理数据集。

步骤二：挂载数据集

在模型开发与训练>交互式建模（DSW）页面创建DSW实例，或变更已有DSW实例配置。其中，数据集选择已创建的自定义数据集，挂载路径和挂载模式按需配置。

其他参数详情，请参见创建DSW实例。

说明

如果配置了CPFS类型的数据集，需要设置网络配置，且选择的专有网络需要与CPFS一致。否则，DSW实例可能会创建失败。
如果配置了NAS类型的数据集，需要设置网络配置，选择安全组。
当资源组选择专有资源组时，因为OSS对fuse接口的支持不如NAS完善，DSW限制第一个数据集必须选择NAS类型数据集，并且该数据集会同时挂载到您指定的路径和DSW默认工作目录/home/admin/workspace下。

挂载公共数据集

步骤一：创建数据集

在AI资产管理>数据集页面创建公共数据集。具体操作，请参见创建数据集：公共数据集。

步骤二：挂载数据集

在模型开发与训练>交互式建模（DSW）页面创建DSW实例，或变更已有DSW实例配置。其中，数据集选择已创建的公共数据集，挂载路径和挂载模式按需配置。

其他参数详情，请参见创建DSW实例。

挂载OSS路径

步骤一：创建OSS Bucket

开通OSS服务并创建Bucket，具体操作，请参见开始使用OSS和创建存储空间。

说明

Bucket所属地域与PAI的地域一致。Bucket一旦创建，则无法更改其所属地域。

步骤二：挂载OSS路径

在模型开发与训练>交互式建模（DSW）页面创建DSW实例，或变更已有DSW实例配置。其中，在挂载配置区域，OSS选择已创建的OSS Bucket路径，挂载路径和挂载模式按需配置。

查看挂载配置

单击目标DSW实例操作列下的打开。
在DSW实例页面的顶部菜单栏中，单击Terminal页签。然后按照操作指引打开Terminal。
在Terminal中，输入以下命令，查看NAS及OSS类型的数据集是否挂载成功。
```
#查询NAS挂载路径
mount | grep nas
#查询OSS挂载路径
mount | grep oss
```
系统输出如下返回结果，说明数据集已成功挂载。
- NAS数据集已挂载到/mnt/data_nas、/mnt/workspace和/home/admin/workspace目录。其中，/mnt/data_nas为创建DSW实例时指定的挂载路径，后两个路径为配置第一个NAS数据集时，被挂载的DSW的默认工作目录。后续只要您的NAS盘和服务正常运行，数据和代码就可以持久化存储。
- OSS数据集挂载到DSW的/mnt/data_oss目录。