图生文模板用于为图片生成文本描述。该模板集成SAM分割算法和大语言模型,支持快速分割图片中的对象并自动生成描述文本,适用于多模态数据的批量标注场景。
数据格式示例
CSV及XLSX格式中每一列数据、Manifest格式中data字段的下一级字段均对应一个数据集字段。字段名可自定义,配置数据集时选择所需字段名即可。图片文件支持JPG、PNG等常见格式。
CSV及XLSX格式
image_url | caption |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg | caption1xxxxx |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg | caption2xxxxx |
文件Demo参考:图生文数据demo.csv
Manifest格式(JSONL格式)
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","caption":"caption1xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","caption":"caption2xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","caption":"caption3xxxxxx"}}文件Demo参考:图生文数据demo.manifest
配置说明
标注区(图片)(必选)
标注区(图片)用于配置待标注的图片URL。
单击选中标注区(图片)并选择数据集后,在右侧配置区域配置参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
数据集字段 | 在数据集字段中选择需要标注的图片URL字段。(字段名可自定义) |
提示 | 默认提示区域无需修改。 |
数据预处理 | 无需配置,不生效。 |
水印配置 | 无需配置,不生效。 |
水印配置 | 无需配置,不生效。 |
卡片样式配置 | 无需配置,不生效。 |
情景描述(文字)(可选)
情景描述(文字)用于配置数据集中的情景描述。
单击选中情景描述(文字)后,在右侧配置区域配置参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
数据集字段 | 在数据集字段中选择情景描述所在字段。 |
提示 | 默认提示区域无需修改。 |
点击链接跳转 | 无需配置,不生效。 |
文本高亮 | 无需配置,不生效。 |
卡片样式配置 | 无需配置,不生效。 |
全局配置
全局配置用于配置模板使用的UDF。
细节描述选择官方UDF pai-img2caption-图生文,生成文本选择官方UDF pai-img2caption-llm整合caption。
单击
,在右侧配置区域配置参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
细节描述 | 标题名暂不支持修改,请按照图中的官方UDF及指定参数配置。 |
生成文本 | 标题名暂不支持修改,请按照图中的官方UDF及指定参数配置。 |
通用配置 | 无需配置,不生效。 |
请严格按照图示配置UDF。input_data及MarkResult决定UDF的输入参数映射,不可随意更改。
操作演示
情景描述
由全图生成描述文本,也可以由数据集自带,支持编辑或重新生成。
右侧面板还包含细节描述区域,可对图中目标编号标注并添加文字描述;底部提供交互式命令行输入区和生成按钮,用于触发文本生成。左侧工具栏提供选择、缩放、裁剪及SAM分割等标注工具。
细节描述
在图片工具区,使用抠图工具抠取图片中的目标,然后新建选区并配置。
单击确认,自动生成细节描述文本,可随时修改(每次创建的标注颜色唯一)。
单击仅创建,仅生成新细节区域,需自行填入描述文本,可随时修改(每次创建的标注颜色唯一)。
更正蒙版:单击更正蒙版,修改并保存该ID的蒙层区域。
隐藏/显示:单击隐藏/显示,单独显示或隐藏该ID的蒙层。
删除:单击删除,删除该ID的表单内容及对应蒙层区域。
生成文本
单击生成,系统将整合情景描述和各条细节描述,生成完整的图片描述文本。
标注界面主图区域显示已启用SAM分割,目标对象覆盖粉色蒙版;右侧图生文面板的细节描述区域列出各对象的描述文本,每条描述提供更正蒙版、隐藏、删除操作按钮;底部交互式命令行可输入控制指令。
交互式命令行
输入@后可选择命令。@BLIP用于控制情景描述和细节描述的生成,@LLM用于控制最终文本的生成。