管理仿真环境与评测

更新时间:
复制 MD 格式

本文介绍如何在具身智能平台上管理仿真资产、搭建仿真开发环境以及提交和监控仿真评测任务。仿真功能基于 NVIDIA Isaac Sim 构建,支持在虚拟环境中验证模型表现,降低真机试错成本。

仿真资产管理

仿真资产包括机器人模型、场景和物体,全部使用 USD(Universal Scene Description)格式。

浏览仿真资产

  1. 在左侧导航栏中,展开仿真管理,单击仿真资产

  2. 仿真资产按 3 个 Tab 分类:

    Tab

    说明

    机器人

    机器人模型(如宇树 G1 系列多种构型)。

    环境

    仿真场景(如仓库、实验室等环境)。

    物体

    可交互物体(如桌子、抽屉等)。

平台内置官方资产(宇树和群核),可直接安装使用。每个资产支持查看详情和卸载(官方资产)或删除(用户资产)操作。

上传自定义资产

  1. 在仿真资产页面,单击上传资产

  2. 配置以下参数:

    参数

    是否必填

    说明

    资产分类

    必填

    机器人、环境或物体。

    资产名称

    必填

    资产名称,将以此名称创建资产文件夹。

    上传文件

    必填

    支持 .usd.usda.usdc.usdz.zip(自动解压)格式。

  3. 单击确定

仿真开发机

仿真开发机是预装 Isaac Sim 的开发环境,用于仿真场景搭建和调试。

创建仿真开发环境

  1. 在左侧导航栏中,单击仿真开发

  2. 单击新建仿真环境

  3. 配置以下参数:

    参数

    是否必填

    说明

    名称

    必填

    仿真环境名称。

    仿真镜像

    必填

    选择官方仿真镜像或自定义镜像。

    资源规格

    必填

    选择 GPU 规格(仿真需要 GPU 资源)。

    端口映射

    选填

    默认包含端口 20001(xpra 可视化)。

    环境变量

    选填

    Key-Value 格式的环境变量。

    SSH 公钥

    选填

    用于 SSH 登录的公钥。

  4. 单击确定

官方仿真镜像

镜像

环境

unitree

Ubuntu 22.04, CUDA 12.2, Python 3.11, PyTorch 2.7, Ray 2.55, Isaac Sim 5.1, xpra

base

Ubuntu 22.04, CUDA 12.2, Python 3.11, PyTorch 2.7, Ray 2.55, Isaac Sim 5.1, xpra

与模型开发机的差异

维度

模型开发机

仿真开发机

预装环境

AI 框架(PyTorch 等)

AI 框架 + Isaac Sim 5.1 + xpra

默认端口

无额外端口

端口 20001(xpra 可视化)

仿真资产

不挂载

自动挂载已安装的仿真资产

典型用途

模型开发、训练调试

仿真场景搭建、评测脚本调试

连接推理服务

在仿真开发机中执行评测时,需要连接已部署的推理服务:

制作仿真镜像

完成仿真环境定制后,可将环境打包为自定义仿真镜像,流程与模型开发机的镜像制作相同。推送到 ACR 后,镜像出现在平台镜像管理页面中。

仿真评测

提交评测任务

  1. 在左侧导航栏中,单击仿真评测

  2. 单击新建评测

  3. 配置以下参数:

    参数

    是否必填

    说明

    任务名称

    必填

    评测任务名称。

    推理服务查询

    选填

    查看已部署推理服务的 URL(需自行配置到启动命令中)。

    仿真镜像

    必填

    选择仿真环境镜像。

    资源规格

    必填

    选择 GPU 规格。

    启动命令

    必填

    评测脚本启动命令。

    环境变量

    选填

    Key-Value 格式的环境变量。

    存为模板

    选填

    保存当前配置为评测模板。

    使用模板

    选填

    选择已保存的评测模板。

  4. 单击确定

监控评测

评测任务提交后,可在评测列表中查看:

说明

任务名称

评测任务名称。

推理服务

使用的推理服务 URL。

仿真镜像

使用的仿真镜像。

Ray Dashboard

查看任务日志与资源使用情况。

状态

运行中、已完成或失败。

下载评测结果

评测完成后,可下载评测报告和视频:

  • 浏览器下载:适合小于 200 MB 的文件。

  • 导出到 OSS:适合大文件。

评测报告通常为 eval_report.json 格式,包含评测指标和结果统计。

相关文档