LVM-图像大小过滤(DLC)组件主要用于过滤过大或过小的图像数据。
支持的计算资源
算法说明
通过计算图像的大小,从而过滤过大或过小的图像数据来保证图像的质量,常用于后续图像生成模型的训练。
输入/输出
输入桩
通过读OSS数据组件,读取训练数据所在的OSS路径。
配置此算法参数图像数据OSS路径,选择图像数据所在的OSS目录,或图像元数据文件。详情请参见下文中的参数说明。
使用任意图像预处理组件作为输入。
输出桩
过滤结果。详情请参见下文中的参数说明。
配置组件
在Designer工作流页面添加LVM-图像大小过滤(DLC)组件,并在界面右侧配置相关参数:
参数类型 | 参数 | 是否必选 | 描述 | 默认值 | |
字段设置 | 图像数据OSS路径 | 否 | 首次运行时,若无上游组件,需手动选择图像数据所在的OSS目录。运行时会在该目录的上一级目录下生成图像元数据文件meta.jsonl。后续处理此图像数据时,也可以直接选择之前生成的meta.jsonl文件。 | 无 | |
输出文件的OSS路径 | 是 | 过滤结果的存储目录。过滤结果包含以下文件:
| 无 | ||
输出的文件名 | 是 | 过滤结果的文件名。 | result.jsonl | ||
参数设置 | 最小大小 | 是 | 可接受的最小大小,支持输入数值加单位的格式,单位包括KB、MB、GB、TB、PB、EB、ZB、YB,例如:30KB。 | 0 | |
最大大小 | 是 | 可接受的最大大小,支持输入数值加单位的格式,单位包括KB、MB、GB、TB、PB、EB、ZB、YB,例如:10MB。 | 1GB | ||
执行调优 | 多进程个数 | 是 | 设置进程数。 | 4 | |
选择资源组 | 公共资源组 | 否 | 选择节点规格(CPU或GPU实例规格)、专有网络。建议使用CPU规格实例,节省成本。 | 无 | |
专有资源组 | 否 | 选择CPU核数、内存、共享内存、GPU卡数。 | 无 | ||
最大运行时长 | 否 | 组件最大运行时长,超过这个时间,作业会被终止。 | 无 |