开发自定义模型

开发机概述

开发机是平台提供的云端开发环境，基于预配置的容器镜像运行，包含常用的 AI 框架和工具。开发机的核心特点：

• 镜像驱动：选择不同的官方镜像即可获得对应的开发环境（如 GR00T、openpi 等）。

• 共享资源：所有开发机共享工作目录、数据集、模型和仿真资产，各场景无缝访问相同资源。

• 持久化存储：工作目录 /mnt/workspace 持久化存储，重启后数据不丢失。

创建开发环境

1. 在左侧导航栏中，展开模型管理，单击模型开发。

2. 单击新建开发环境。

3. 在右侧面板中配置以下参数：

   参数	是否必填	说明
   名称	必填	开发环境名称。
   开发镜像	必填	从下拉列表中选择官方镜像或自定义镜像。
   资源规格	必填	选择 CPU 或 GPU 规格。
   端口映射	选填	需要暴露的端口。
   环境变量	选填	Key-Value 格式的环境变量。
   SSH 公钥	选填	用于 SSH 登录的公钥。

4. 单击确定。创建完成后状态变为运行中。

登录开发机

开发机创建完成后，通过 SSH 登录：

1. 在开发环境列表中，复制目标开发机的 SSH 地址。

2. 使用 SSH 客户端登录：

   ssh -i <私钥路径> root@<SSH地址>

开发机目录结构

登录后，开发机提供以下挂载路径：

环境安装

开发机默认已安装基础依赖。如需安装额外的 Python 包：

• 有公网访问（已配置 NAT 网关）：直接使用 pip install。

• 无公网访问：使用阿里云 PyPI 镜像源安装：

  pip install <package> -i https://mirrors.aliyun.com/pypi/simple/

数据上传

将本地数据上传到开发机：

• 通过 SCP：

  scp -i <私钥路径> -r /path/to/local/data root@<SSH地址>:/mnt/workspace/

• 通过 ossutil：先将数据上传到 OSS，再在开发机上使用 ossutil 下载。详见使用 AnalyticDB 湖存储 OSS 上传数据。

训练可视化

训练过程中可使用 TensorBoard 查看训练指标。在开发机上启动 TensorBoard 后，通过端口映射在浏览器中访问。

制作镜像

完成开发后，可将开发机环境打包为自定义镜像，用于后续的训练任务和部署。

1. 确保已在 AnalyticDB 控制台配置 ACR 镜像仓库（参见创建并登录具身智能平台）。

2. 在开发机中构建并推送镜像到 ACR。

3. 推送完成后，自定义镜像会出现在平台的镜像管理页面中。

注册模型

将开发机工作目录中训练好的模型注册到平台：

• 模型文件存放在 /mnt/workspace 或 /model 目录中。

• 在模型管理页面注册模型后，即可用于后续的训练任务或直接部署为推理服务。

提交自定义训练任务

使用自定义模型和镜像提交分布式训练任务：

1. 在左侧导航栏中，单击模型训练。

2. 单击开始训练。

3. 切换模型来源为自定义模型。

4. 配置以下参数：

   参数	是否必填	说明
   模型路径查询	选填	如模型已注册到平台，可选择目标模型查看其存储路径（需自行配置到启动命令或环境变量中）。
   数据集路径查询	选填	选择目标数据集后，平台展示其存储路径（需自行配置到启动命令或环境变量中）。
   镜像	必填	选择在模型开发阶段制作好的镜像。
   启动命令	必填	填写模型训练任务的启动命令。
   环境变量	选填	自定义环境变量。
   TensorBoard 日志路径	选填	填写 TensorBoard 日志存储路径，平台将自动读取并展示训练指标。
   训练资源	必填	平台基于 Ray Job 提交训练作业。如训练代码不基于 Ray，仅支持单机训练，只需配置 Head 资源；如基于 Ray，可按需配置 Ray Head 和 Worker 资源。

   完成配置后可单击保存模板，后续可直接使用模板快速发起训练任务。

5. 单击确定。

监控训练过程

自定义训练任务的监控方式与内置模型训练相同：

• 日志与资源使用：通过训练任务列表的 Ray Dashboard 链接查看。Ray Dashboard 仅在训练过程中可用，训练结束后将被删除。如需长期保留日志，建议将日志文件落盘到 /mnt/workspace。

• 训练指标：通过训练任务列表的更多 > 查看指标查看（需在提交训练时填写 TensorBoard 日志路径）。

下载训练结果

训练完成后，可下载模型权重文件：

• 浏览器下载：适合小于 200 MB 的文件，在训练任务列表中单击下载。

• 导出到 OSS：适合大文件，将训练结果导出到 OSS 后使用 ossutil 下载。

相关文档

• 训练与部署内置模型

• 管理仿真环境与评测

• 为开发机开通公网访问

• 创建并登录具身智能平台