图生文

更新时间:
复制 MD 格式

图生文模板用于为图片生成文本描述。该模板集成SAM分割算法和大语言模型,支持快速分割图片中的对象并自动生成描述文本,适用于多模态数据的批量标注场景。

数据格式示例

说明

CSVXLSX格式中每一列数据、Manifest格式中data字段的下一级字段均对应一个数据集字段。字段名可自定义,配置数据集时选择所需字段名即可。图片文件支持JPG、PNG等常见格式。

CSVXLSX格式

image_url

caption

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg

caption1xxxxx

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg

caption2xxxxx

文件Demo参考:图生文数据demo.csv

Manifest格式(JSONL格式)

{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","caption":"caption1xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","caption":"caption2xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","caption":"caption3xxxxxx"}}

文件Demo参考:图生文数据demo.manifest

配置说明

标注区(图片)(必选)

标注区(图片)用于配置待标注的图片URL。

单击选中标注区(图片)并选择数据集后,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

在数据集字段中选择需要标注的图片URL字段。(字段名可自定义)

提示

默认提示区域无需修改。

数据预处理

无需配置,不生效。

水印配置

无需配置,不生效。

水印配置

无需配置,不生效。

卡片样式配置

无需配置,不生效。

情景描述(文字)(可选)

情景描述(文字)用于配置数据集中的情景描述。

单击选中情景描述(文字)后,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

在数据集字段中选择情景描述所在字段。

提示

默认提示区域无需修改。

点击链接跳转

无需配置,不生效。

文本高亮

无需配置,不生效。

卡片样式配置

无需配置,不生效。

全局配置

全局配置用于配置模板使用的UDF。

细节描述选择官方UDF pai-img2caption-图生文生成文本选择官方UDF pai-img2caption-llm整合caption

单击image,在右侧配置区域配置参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

细节描述

标题名暂不支持修改,请按照图中的官方UDF及指定参数配置。

生成文本

标题名暂不支持修改,请按照图中的官方UDF及指定参数配置。

通用配置

无需配置,不生效。

重要

请严格按照图示配置UDF。input_dataMarkResult决定UDF的输入参数映射,不可随意更改。

操作演示

  1. 情景描述

    由全图生成描述文本,也可以由数据集自带,支持编辑或重新生成。

    右侧面板还包含细节描述区域,可对图中目标编号标注并添加文字描述;底部提供交互式命令行输入区和生成按钮,用于触发文本生成。左侧工具栏提供选择、缩放、裁剪及SAM分割等标注工具。

  2. 细节描述

    1. 在图片工具区,使用抠图工具抠取图片中的目标,然后新建选区并配置。

      • 单击确认,自动生成细节描述文本,可随时修改(每次创建的标注颜色唯一)。

      • 单击仅创建,仅生成新细节区域,需自行填入描述文本,可随时修改(每次创建的标注颜色唯一)。

    2. 更正蒙版:单击更正蒙版,修改并保存该ID的蒙层区域。

    3. 隐藏/显示:单击隐藏/显示,单独显示或隐藏该ID的蒙层。

    4. 删除:单击删除,删除该ID的表单内容及对应蒙层区域。

  3. 生成文本

    单击生成,系统将整合情景描述和各条细节描述,生成完整的图片描述文本。

    标注界面主图区域显示已启用SAM分割,目标对象覆盖粉色蒙版;右侧图生文面板的细节描述区域列出各对象的描述文本,每条描述提供更正蒙版隐藏删除操作按钮;底部交互式命令行可输入控制指令。

  4. 交互式命令行

    输入@后可选择命令。@BLIP用于控制情景描述和细节描述的生成,@LLM用于控制最终文本的生成。