挂载数据集/OSS/NAS/CPFS

挂载数据集

1. 创建数据集

   登录PAI控制台，在AI资产管理 > 数据集页面创建自定义数据集或公共数据集。具体操作可参见创建及管理数据集。

2. 挂载数据集

   在新建DSW实例时出现的配置页中（已存在的实例通过单击变更配置打开配置页），找到数据集挂载参数，单击自定义，选择已创建的数据集并填写挂载路径。

直接挂载存储路径

以挂载对象存储OSS为例。

1. 创建OSS Bucket

   开通OSS服务并创建Bucket。

   重要

   Bucket所属地域与PAI的地域一致。Bucket一旦创建，则无法更改其所属地域。

2. 挂载OSS路径

   在新建DSW实例时出现的配置页中（已存在的实例通过单击变更配置打开配置页），找到存储挂载参数。点击OSS，然后选择已创建的OSS Bucket路径并填写挂载路径。高级配置默认为空，您可以参考下文的挂载高级配置，按需配置。

准备工作

1. 安装PAI Python SDK。在打开的DSW实例终端中执行以下命令，安装PAI Python SDK，要求python >= 3.8。

   python -m pip install pai>=0.4.11

2. 配置SDK访问PAI的密钥。

   • 方式一：配置DSW实例为PAI默认角色或自定义RAM角色。打开实例配置页，在页面底部单击展开更多配置选择实例RAM角色。具体操作参见配置DSW实例RAM角色。

   • 方式二：手动通过PAI Python SDK提供的命令行工具完成配置。在终端中执行以下命令配置访问参数。操作示例参见初始化配置。

     python -m pai.toolkit.config

使用示例

通过动态挂载功能，无需重启DSW实例，使用示例如下：

• 挂载到默认路径

  相应的数据会被挂载到实例内的默认挂载路径下（官方预置实例镜像默认路径为/mnt/dynamic/）。

  from pai.dsw import mount
  # 挂载oss路径
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
  # 挂载数据集, 入参为数据集的id
  # mount_point = mount("d-m7rsmu350********")

• 挂载到指定路径

  动态挂载功能目前需要将数据挂载到容器内的指定路径（或子路径下），可通过SDK提供的API获取动态挂载路径。

  from pai.dsw import mount, default_dynamic_mount_path
  # 获取实例的默认挂载路径
  default_path = default_dynamic_mount_path()
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
                , mount_point=default_path + "tmp/output/model")

• 动态挂载NAS

  from pai.dsw import mount, default_dynamic_mount_path
  # 获取实例的默认挂载路径
  default_path = default_dynamic_mount_path()
  # 挂载nas，要求nas的endpoint和实例在同一个vpc，<region>替换为regionId，例如cn-hagnzhou
  mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

• 查看实例内的所有挂载数据配置

  from pai.dsw import list_dataset_configs
  print(list_dataset_configs())

• 卸载挂载数据

  from pai.dsw import mount, unmount
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
  # 入参为挂载的路径，即list_dataset_configs查询到的MountPath
  # 执行卸载后需要等待几秒钟才会生效
  unmount(mount_point)

Q：成功挂载了OSS，为什么在JupyterLab界面的左侧文件浏览器中看不到？

这是因为DSW的文件浏览器默认显示实例的工作目录，路径通常是/mnt/workspace。而挂载OSS时指定的挂载路径（例如 /mnt/data）不在默认工作目录下，因此不会显示在左侧文件列表中。

解决方法：

• 通过代码访问：文件已成功挂载。在代码中使用完整的挂载路径访问即可，例如 open('/mnt/data/my_file.csv')。

• 更改挂载点：为了在UI中方便地看到文件，可在配置挂载时将挂载路径设置为工作目录下的子目录，例如 /mnt/workspace/my_oss_data。这样挂载完成后，即可在文件浏览器的 my_oss_data 文件夹中看到OSS文件。

• 通过终端访问：在DSW的Terminal中使用cd /mnt/data命令进入挂载目录，然后通过ls等命令查看和操作文件。

Q：使用挂载的OSS时，程序报错“Transport endpoint is not connected”或“输入/输出错误”？

这个错误表明DSW实例与OSS的挂载连接已断开。可能的原因及排查方法如下：

1. RAM角色权限问题：检查DSW实例配置的RAM角色是否被授予了访问OSS的权限（例如 AliyunPAIDLCAccessingOSSRole）。权限不足是导致无法读取OSS的常见原因。

2. 挂载服务资源不足：高强度随机读写或大量小文件操作时，负责挂载的ossfs或JindoFuse进程可能因内存不足（OOM）而崩溃 。可在挂载配置的”高级配置”中关闭元数据Cache，或增加内存配置。详情参见JindoFuse。

3. 恢复连接：

   • 对于启动时挂载，最简单的恢复方法是重启DSW实例，系统会自动重新执行挂载。

   • 您也可以使用PAI SDK执行动态挂载命令，在不重启实例的情况下重新挂载路径。

Q：DSW支持挂载哪些类型的数据？可以直接挂载阿里云盘或MaxCompute表吗？

DSW支持通过创建数据集或直接挂载路径的方式使用OSS、NAS和CPFS这几种云存储服务。

• 不支持阿里云盘：DSW不支持挂载个人阿里云盘。需要处理的数据建议存放在OSS中。

• 不支持挂载MaxCompute表：MaxCompute（原ODPS）的表数据不能像文件系统一样直接”挂载”到DSW目录中。您可以通过PAI提供的SDK或API在DSW代码中读写，详情参见使用PyODPS读写MaxCompute表。

Q：DSW实例关机或删除后，代码和数据会丢失吗？如何实现数据持久化和迁移？

DSW实例的系统盘是临时存储。公共资源组实例停机超过15天数据会被清空；专有资源组实例停止或删除后，系统盘数据也会被清空。

为了实现数据和代码的持久化存储及跨实例迁移，必须使用外部挂载存储。

• 持久化方案：将重要数据、代码、模型等保存在挂载的OSS或NAS路径下。即使DSW实例被删除，资产依然安全存放在OSS或NAS中。

• 迁移方案：需要将数据从一个DSW实例迁移到另一个时，只需在新实例中挂载同一个OSS或NAS路径即可。

Q：DSW实例无法打开/无法启动，如何导出系统盘中的数据？

如果DSW实例因资源不足或其他原因无法启动，系统盘中的数据不会立即丢失。可尝试以下方法导出数据：

1. 变更实例规格后重新启动：在实例列表页，单击"变更配置"，选择其他可用的实例规格后重新启动实例。变更规格不会导致系统盘数据丢失。启动成功后，立即将数据备份到OSS或NAS。

2. 更换地域或可用区：如果当前地域资源不足，且数据已存储在外部存储中，可以尝试创建新实例并挂载相同的OSS/NAS存储来恢复数据。

3. 联系技术支持：如果以上方法均无法解决，请提交工单联系技术支持协助导出数据。