使用 AnalyticDB 湖存储 OSS 上传数据

更新时间:
复制 MD 格式

当数据集、模型权重或仿真资产文件较大(超过浏览器上传限制)时,可通过对象存储 OSS 上传文件,然后在具身智能平台中以 OSS 路径引用数据。

此方式适用于以下场景:

  • 上传超大规模训练数据集(数十 GB 以上)

  • 从本地批量迁移已有数据到云端

  • 团队多人协作共享数据

前提条件

  • 已开通对象存储 OSS 服务。

  • 已创建 AnalyticDB 具身智能平台实例(创建时勾选了自动开通 ADB 托管湖存储和加速服务)。

步骤一:创建 RAM 用户并授权

为安全起见,建议使用 RAM 用户的 AccessKey 访问 OSS,而非阿里云账号的 AccessKey。

  1. 登录 RAM 控制台

  2. 在左侧导航栏中,选择身份管理 > 用户

  3. 单击创建用户

  4. 填写登录名称显示名称,勾选 OpenAPI 调用访问以生成 AccessKey,单击确定

  5. 保存生成的 AccessKey IDAccessKey Secret

    说明

    AccessKey Secret 仅在创建时展示一次,请妥善保管。

  6. 返回用户列表,单击新用户的用户名,在权限管理页签中单击新增授权

  7. 搜索并选择 AliyunOSSFullAccess(管理对象存储 OSS 权限),单击确定

步骤二:上传数据到 OSS

根据数据规模和使用习惯,选择以下任一方式上传。

方式一:通过 ossbrowser 上传(推荐非技术用户)

ossbrowser 是 OSS 官方图形化管理工具,支持拖拽上传和断点续传。

  1. 下载并安装 ossbrowser

  2. 使用步骤一创建的 AccessKey 登录。

  3. 定位到目标 Bucket 和路径,将本地文件拖入上传。

方式二:通过 ossutil 上传(推荐开发者)

ossutil 是 OSS 官方命令行工具,支持批量操作和脚本自动化。

  1. 下载并安装 ossutil

  2. 配置 AccessKey:

       ossutil config -e oss-cn-beijing.aliyuncs.com -i <AccessKey ID> -k <AccessKey Secret>
  3. 上传目录到 OSS:

       ossutil cp -r /path/to/local/dataset oss://<bucket-name>/datasets/

方式三:通过 OSS 控制台上传(适合小文件)

  1. 登录 OSS 管理控制台

  2. Bucket 列表中,单击目标 Bucket。

  3. 单击文件列表,然后单击上传文件

  4. 拖入文件或单击选择文件,完成上传。

    说明

    控制台上传适合单文件小于 5 GB 的场景。超大文件请使用 ossutil。

步骤三:在具身智能平台中引用 OSS 数据

上传完成后,在具身智能平台注册数据集时选择 OSS 作为数据来源,填写以下信息:

参数

说明

OSS Endpoint

OSS 访问域名,例如 oss-cn-beijing.aliyuncs.com

OSS Bucket

存储桶名称。

OSS Path

数据集在 Bucket 中的路径,例如 datasets/lerobot_v2/my_dataset

Access Key ID

步骤一创建的 AccessKey ID。

Access Key Secret

步骤一创建的 AccessKey Secret。

相关文档