图像-文本对过滤

LVM图像处理算法提供了图像清洗、图像内容清理、图像基本信息的提取、图像caption生成的功能。您可以根据实际需求组合不同的算法,从而过滤出合适的图像数据并生成相应的文本描述,方便为后续的图像生成模型训练提供优质的图像数据。本文为您介绍Designer中图像-文本对过滤预置模板的使用说明。

使用限制

图像-文本对过滤预置模板仅支持华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)地域使用。

准备图像数据

PAI为您提供示例数据可作参考:

  1. 下载图像元数据文件和图像文件。

    • 图像元数据文件:image_meta.jsonl,可作为图像文本算法输入项。

    • 图像文件:data.zip,可作为一般图像处理算法的输入项。

  2. 解压并上传图像文件至OSS。具体操作,请参见简单上传至OSS

  3. 修改图像元数据文件。

    将图像元数据文件中的字段your_oss_path替换为上传图片的OSS Bucket目录。例如,将图片上传至OSS Bucketimage_algorithm_test/image_data目录下,则your_oss_path需替换成image_algorithm_test/image_data

    image

    image

  4. 上传图像元数据文件至步骤 2同一OSS Bucket中。具体操作,请参见简单上传至OSS

创建并运行工作流

  1. 进入Designer页面。

    1. 登录PAI控制台

    2. 在顶部左上角根据实际情况选择地域。

    3. 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间。

    4. 在左侧导航栏选择模型开发与训练 > 可视化建模(Designer),进入Designer页面。

  2. 创建工作流。

    1. 预置模板页签下,选择业务领域 > 多模态大模型,单击图像-文本对过滤模板卡片上的创建

      image

    2. 配置工作流参数(或保持默认),单击确定

    3. 在工作流列表,选择已创建的工作流,单击进入工作流

  3. 配置工作流。

    分别配置LVM图像预处理算法组件,详情请参见图像预处理算子

    image

  4. 运行工作流。运行结束后,查看生成的文件:

    • meta.jsonl文件:运行时会在图像数据OSS路径的上一级目录下生成图像元数据文件meta.jsonl。

    • 结果文件:在输出文件的OSS路径中查看结果文件。

    关于结果文件详细说明,请参见图像预处理算子输出文件的OSS路径参数介绍。

相关参考

图像预处理组件介绍