视觉问答模板-人工智能平台 PAI(PAI)-阿里云帮助中心

视觉问答模板用于对图片内容生成问答，支持接入机器人UDF。单轮对话模式不考虑上下文；多轮对话模式结合历史上下文生成回答。

数据格式示例

说明

CSV及XLSX格式中每一列数据；Manifest格式中data字段的下一级字段均对应一个数据集字段，字段名可自定义，配置时选择要使用的字段名。图片文件支持JPG、PNG等格式。

CSV及XLSX格式

image_url

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg

文件Demo参考：图像语义分割数据demo.csv

Manifest格式（JSONL格式）

{"data":{"image_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg"}}
{"data":{"image_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg"}}
{"data":{"image_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg"}}

文件Demo参考：图像语义分割数据demo.manifest

配置说明

题目区（必选）

题目区用于配置话题字段。

单击选中题目，选择数据集，在右侧配置区域配置参数。参数说明如下：

参数	说明
标题	默认标题区域无需修改。
数据集字段	在数据集字段中选择话题图片的URL字段。（字段名可自定义）
提示	默认提示区域无需修改。
点击链接跳转	无需配置，不生效。
文本高亮	无需配置，不生效。
卡片样式配置	无需配置，不生效。

问题区（可选）

问题区用于配置与提问机器人文本相关的题目。

在问题区底部，单击+单选、+多选或+更多添加题目。

单击问题后，在右侧配置区域配置参数。参数说明如下：

参数	说明
标题	可根据需要配置问题标题。
选项说明当答题类型为单选、多选或树选择时，需要配置此参数。	当答题类型为单选或多选时，可以通过手工录入或数据集导入配置，词典搜索暂时无法使用。当答题类型为树选择时，仅支持手工录入配置。
占位文本说明当答题类型为单行输入框或输入框-Markdown预览时，需要配置此参数。	填空题占位文字，用于引导用户输入内容。
提示	配置悬停在题目标题上时出现的提示文字。
是否必填	配置题目是否为必填项。若为必填，答题时系统校验该字段。
支持搜索选项说明当答题类型为单选或多选时，需要配置此参数。	配置后支持搜索选项。
生效阶段	题目的生效阶段，不选时默认全流程生效。

答题区（可选）

答题区用于配置与回答机器人文本相关的题目。

单击问题后，在右侧配置区域配置参数。参数说明如下：

参数	说明
标题	可根据需要配置问题标题。
占位文本说明当答题类型为单行输入框或输入框-Markdown预览时，需要配置此参数。	填空题占位文字，用于引导用户输入内容。
选项说明当类型为单选、多选或树选择时，需要配置此参数。	当答题类型为单选或多选时，可以通过手工录入或数据集导入配置，词典搜索暂时无法使用。当答题类型为树选择时，仅支持手工录入配置。
提示	配置悬停在题目标题上时出现的提示文字。
支持搜索选项说明当答题类型为单选或多选时，需要配置此参数。	配置后支持搜索选项。
是否必填	配置题目是否为必填项。若为必填，答题时系统校验该字段。
生效阶段	题目的生效阶段，不选时默认全流程生效。

全局题目区（可选）

全局题目区用于针对整个主题提出问题。

单击选中题目后，在右侧配置区域配置参数。参数说明如下：

参数	说明
标题	可根据需要配置问题标题。
占位文本说明当答题类型为单行输入框或输入框-Markdown预览时，需要配置此参数。	填空题占位文字，用于引导用户输入内容。
选项说明当答题类型为单选、多选、树选择或多选树选择时，需要配置此参数。	当答题类型为单选或多选时，可以通过手工录入或数据集导入配置，词典搜索暂时无法使用。当答题类型为树选择或多选树选择时，仅支持手工录入配置。
提示	配置悬停在题目标题上时出现的提示文字。
是否必填	配置题目是否为必填项。若为必填，答题时系统校验该字段。
支持搜索选项说明当答题类型为单选或多选时，需要配置此参数。	配置后支持搜索选项。
生效阶段	题目的生效阶段，不选时默认全流程生效。

全局配置

全局配置用于配置模板使用的UDF。

单击，在右侧配置问答机器人，选择机器人的UDF后添加参数。

重要

此处UDF需严格按照示例填写。input_data和MarkResult确保UDF正确接收输入参数，不可更改。

在右侧配置面板中，提问机器人选择pai-VQA-问题生成-单轮（官方），参数映射为input_data→MarkResult；reply选择方式选择拖拽排序；回答机器人选择pai-VQA-caption/回答生成-单轮（官方），参数映射为input_data→MarkResult。
在VQA对话模板中，左侧为画布区（含题目区和问题区），中间为答题区（含全局题目填空和Markdown预览），右侧为配置面板。配置面板中，提问机器人选择pai-VQA-问题生成-多轮（官方），回答机器人选择pai-VQA-caption/回答生成-多轮（官方），参数映射均为input_data → MarkResult，reply选择方式设为拖拽排序。

操作演示

单击发起问答，提问机器人自动提出问题。您可根据问题文本回答题目（题目为自行配置的），不满意时可改写。
确定问题文本后，再次单击发起问答，回答机器人自动回答上一轮的问题。您可根据文本回答题目（题目也为自行配置的），不满意时可改写。
您可以多次发起问答。

说明

单轮对话模板不携带历史对话记录。多轮对话模板自动携带历史对话记录。

标注界面左侧展示当前话题图片和imageCaption描述区域。问答气泡下方设有题目选项（多选复选框），右侧面板为VQA对话全局题目区域。底部下一题按钮用于切换标注题目。