具身智能视频泛化

更新时间:
复制 MD 格式

面向机器人、自动驾驶、具身智能模型训练等需要大规模合成视频数据的场景,提供从源素材入库到批量生产、质量评测、数据集导出的一体化工厂能力。

控制台布局

进入具身智能 · 训练数据工厂后,左侧导航包含 6 个入口:

入口

功能

快速生成

单次生成训练视频

生产项目

数据集管理:源素材、生产配置、执行状态、产出、导出

质量评测

评分仪表盘、评分方案管理、快速试用评测

存储审计

跨数据集的存储与文件审计

API

通过 REST API 集成到自动化流水线

设置

训练数据工厂相关设置

生产项目

创建项目

  1. 进入生产项目页面,点击新建项目。

  2. 填写名称、描述,并按需选填:机器人型号、任务类型、环境、来源类型。

  3. 创建后会自动进入项目工作台。

项目工作台

步骤

功能

源素材

上传源视频与参考图,分类查看

生产配置

表单或 JSON 高级模式批量配置生产任务

执行状态

查看本项目内所有生产任务的进度

产出

浏览本项目产出的训练数据条目

导出

一键导出整个数据集(包含元信息与文件)

源素材上传

  • 支持视频(MP4 / MOV / WebM)与图片(JPG / PNG / WebP)。

  • 单个视频最大 500 MB,单张图片最大 100 MB。

  • 上传时显示批量进度条,失败可重试。

  • 已上传素材会归档到当前数据集,可继续在生产配置中复用。

生产配置

提供两种模式:

  • 表单配置:勾选源视频,对每个视频独立配置 Prompt 与挂载参考图,适合直观操作。

  • JSON 高级:通过 JSON 一次性提交批量任务,适合熟悉脚本的高级用户。

执行状态

执行状态页面以批次为单位呈现:

  • 总进度、成功 / 失败 / 进行中数量。

  • 每个任务的实时进度、阶段标签。

  • 失败任务可一键重试。

产出与条目详情

产出列表支持:

  • 按质检状态筛选:待评估、自动通过、自动不通过、已确认、已推翻、已跳过。

  • 按来源类型筛选:采集、切片、生成、拼接。

  • 按文本关键词搜索。

  • 点击单条进入详情页:标签、生成提示词、视频预览、元信息(时长、分辨率、帧率、来源任务)、血缘链(追溯父级条目)。

数据集导出

  • 一键导出整个数据集为打包文件(含视频与元信息)。

  • 支持按质检态过滤导出(例如仅导出“已确认”条目)。

  • 导出任务异步执行,可在导出 Tab 查看进度并下载结果。

质量评测

评测总览

  • 累计评测数、通过率、各维度达标率。

  • 可视化柱状图直观对比维度表现。

评分方案

  • 内置系统评分方案,多个维度(如语义一致性、运动一致性、画面稳定性、外观保留、轨迹合理性、物理合理性等)均按 0–2 评分。

  • 可查看维度详情、判断标准与通过门槛。

  • 多套方案可切换,设为默认后所有新任务都将使用该方案。

快速试用

  • 在快速试用区域填入待评测视频 URL(与可选源视频 URL)。

  • 点击开始评测,几十秒内得到评分结果。

  • 评测结果包含每个维度得分与综合通过结论,可作为方案对比参考。

API

通过 REST API 将训练数据生成能力集成到您的自动化流水线。

API 页面中提供了核心接口清单,包括上传文件、提交生成任务、查询任务状态、清理任务文件等,可以直接在页面中发起 API 调用。另外也提供了快速开始的 Python 示例,便于开发集成。

存储审计

存储审计模块跨数据集统计:

  • OSS 文件总占用、孤立文件、可清理对象。

  • 支持安全清理操作。