图生文模板支持SAM(Segment Anything Model)及自研分割算法快速分割图形,结合LLM文本生成能力,探索智能化标注在AIGC场景下的应用。
数据格式示例
CSV及XLSX格式中每一列数据;Manifest格式中data字段的下一级字段均对应一个数据集字段,字段名可自定义,在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。
CSV及XLSX格式
image_url | caption |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg | caption1xxxxx |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg | caption2xxxxx |
文件Demo参考:图生文数据demo.csv
Manifest格式(JSONL格式)
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","caption":"caption1xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","caption":"caption2xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","caption":"caption3xxxxxx"}}
文件Demo参考:图生文数据demo.manifest
配置说明
标注区(图片)(必选)
标注区(图片)用于配置需要进行标注的图片URL。
单击选中标注区(图片),并选择相应的数据集后,在右侧配置区域配置具体参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
数据集字段 | 在数据集字段中选择需要标注的图片URL字段。(字段名可自定义) |
提示 | 默认提示区域无需修改。 |
数据预处理 | 无需配置,不生效。 |
水印配置 | 无需配置,不生效。 |
水印配置 | 无需配置,不生效。 |
卡片样式配置 | 无需配置,不生效。 |
情景描述(文字)(可选)
情景描述(文字)用于配置数据集中的情景描述。
单击选中情景描述(文字)后,在右侧配置区域配置具体参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
数据集字段 | 在数据集字段中选择情景描述对应的字段。 |
提示 | 默认提示区域无需修改。 |
点击链接跳转 | 无需配置,不生效。 |
文本高亮 | 无需配置,不生效。 |
卡片样式配置 | 无需配置,不生效。 |
全局配置
全局配置主要用于配置模板中会使用到的UDF。
单击,在右侧配置区域配置具体参数。参数说明如下:
参数 | 说明 |
标题 | 默认标题区域无需修改。 |
细节描述 | 标题名暂不支持修改,需按图片内配置官方UDF及相应参数。 |
生成文本 | 标题名暂不支持修改,需按图片内配置官方UDF及相应参数。 |
通用配置 | 无需配置,不生效。 |
UDF配置请严格按照图示进行配置,input_data及MarkResult用于让UDF正确接收输入参数,不可随意更改。
操作演示
情景描述
由全图生成文案,也可以是数据集自带,支持编辑或重新生成。
细节描述
在图片工具区,使用抠图工具对页面进行抠图。新建选区并进行配置。
单击确认,会生成细节描述文本,细节描述可随时进行修改(每次创建的标注颜色唯一)。
单击仅创建,仅生成新细节区域,需自行填入细节描述文本。细节描述可随时进行修改(每次创建的标注颜色唯一)。
更正蒙版:单击更正蒙版,可以对该ID对应蒙层区域进行修改和保存。
隐藏/显示:单击隐藏/显示,可以单独控制该ID对应蒙层的显隐。
删除:单击删除,即可删除该ID对应的表单内容及相应蒙层区域。
生成文本
单击生成,整合情景描述和细节生成最终文本。
交互式命令行
输入@后可选择命令,@BLIP命令用于生成情景描述/细节描述控制,@LLM用于生成文本控制。