图生文模板支持SAM(Segment Anything Model)及自研分割算法快速分割图形,结合LLM文本生成能力,探索智能化标注在AIGC场景下的应用。

数据格式示例

说明

CSVXLSX格式中每一列数据;Manifest格式中data字段的下一级字段均对应一个数据集字段,字段名可自定义,在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。

CSVXLSX格式

image_url

caption

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg

caption1xxxxx

oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg

caption2xxxxx

文件Demo参考:图生文数据demo.csv

Manifest格式(JSONL格式)

{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","caption":"caption1xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","caption":"caption2xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","caption":"caption3xxxxxx"}}

文件Demo参考:图生文数据demo.manifest

配置说明

标注区(图片)(必选)

标注区(图片)用于配置需要进行标注的图片URL。

image

单击选中标注区(图片),并选择相应的数据集后,在右侧配置区域配置具体参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

在数据集字段中选择需要标注的图片URL字段。(字段名可自定义)

提示

默认提示区域无需修改。

数据预处理

无需配置,不生效。

水印配置

无需配置,不生效。

水印配置

无需配置,不生效。

卡片样式配置

无需配置,不生效。

情景描述(文字)(可选)

情景描述(文字)用于配置数据集中的情景描述。

image

单击选中情景描述(文字)后,在右侧配置区域配置具体参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

数据集字段

在数据集字段中选择情景描述对应的字段。

提示

默认提示区域无需修改。

点击链接跳转

无需配置,不生效。

文本高亮

无需配置,不生效。

卡片样式配置

无需配置,不生效。

全局配置

全局配置主要用于配置模板中会使用到的UDF。

image

单击image,在右侧配置区域配置具体参数。参数说明如下:

参数

说明

标题

默认标题区域无需修改。

细节描述

标题名暂不支持修改,需按图片内配置官方UDF及相应参数。

生成文本

标题名暂不支持修改,需按图片内配置官方UDF及相应参数。

通用配置

无需配置,不生效。

重要

UDF配置请严格按照图示进行配置,input_dataMarkResult用于让UDF正确接收输入参数,不可随意更改。

操作演示

  1. 情景描述

    由全图生成文案,也可以是数据集自带,支持编辑或重新生成。

    image

  2. 细节描述

    1. 在图片工具区,使用抠图工具对页面进行抠图。新建选区并进行配置。

      • 单击确认,会生成细节描述文本,细节描述可随时进行修改(每次创建的标注颜色唯一)。

      • 单击仅创建,仅生成新细节区域,需自行填入细节描述文本。细节描述可随时进行修改(每次创建的标注颜色唯一)。

    2. 更正蒙版:单击更正蒙版,可以对该ID对应蒙层区域进行修改和保存。

    3. 隐藏/显示:单击隐藏/显示,可以单独控制该ID对应蒙层的显隐。

    4. 删除:单击删除,即可删除该ID对应的表单内容及相应蒙层区域。

    image

  3. 生成文本

    单击生成,整合情景描述和细节生成最终文本。

    image

  4. 交互式命令行

    输入@后可选择命令,@BLIP命令用于生成情景描述/细节描述控制,@LLM用于生成文本控制。