多模态数据结构说明与多模态评测集数据添加方式
多模态评测用于评估 Agent 对图片、音频、视频及其混排内容的理解与生成效果。准备好多模态评测集后,可以选择多模态评估器,并创建针对多模态数据的评测任务,覆盖视觉问答、票据识别、语音客服、视频内容理解等场景。
什么是多模态数据
多模态数据可以是图片、音频或视频,也可以是文字、图片、音频与视频的组合。
多模态字段在服务端统一存储为 Array<Object>。数组中的每个 Object 通过 type 声明元素类型,通过对应的载荷字段承载内容;图片、音频和视频的载荷均为 URL。数组顺序即内容顺序,支持同类内容重复出现,也支持文字与媒体混排。
[
{
"type": "text",
"text": "请描述这张图片,并总结音频和视频的主要内容。"
},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/image.png"
}
},
{
"type": "audio_url",
"audio_url": {
"url": "https://example.com/audio.mp3"
}
},
{
"type": "video_url",
"video_url": {
"url": "https://example.com/video.mp4"
}
}
]
一条多模态数据不要求同时包含四种元素,可以只包含一种模态,也可以自由混排。例如,纯图片、图文、语音加文字、视频加文字都是有效的多模态数据。
创建多模态评测集
创建评测集时,编辑评测集表结构,将列类型设置为多模态。例如:
| 列名 | 数据类型 | 必填 | 描述 |
|---|---|---|---|
| input | 多模态或 String | 是 | 输入内容 |
| reference_output | 多模态或 String | 否 | 理想输出 |
输入字段定义为多模态类型,常用于评测多模态内容理解效果;输出字段定义为多模态类型,常用于评测生成多模态内容的效果。
评测集创建与发布的详细步骤,参考创建与管理。
添加多模态评测数据
进入评测集详情页,点击添加数据 > 单条新增:
- 对于多模态字段,点击添加内容,按需添加文本、图片、音频或视频元素。本期仅支持上传本地文件。
- 元素按添加顺序组成数组,可以调整顺序、删除单项或继续追加。
- 填写完成后保存。系统会校验必填字段,校验通过后添加成功。
说明多模态数据校验:
- 文本:非空,最多 10000 字符。
- 图片:JPG、JPEG、PNG,单文件不超过 20 MB。
- 音频:MP3,单文件不超过 100 MB。
- 视频:MP4、MOV,单文件不超过 100 MB。
通过 Trace 回流评测数据
应用观测中的 Trace 可回流到多模态评测集:在应用观测的 Trace 列表批量选择 Trace,配置 Trace 中输入、输出字段(包含多模态图片内容)与评测集字段的映射关系,导入评测集。操作步骤参考应用观测中的添加到评测集。
该文章对您有帮助吗?