图像算子使用概述

使用说明

在基于 Dataframe API 开发 Python 作业时，图像算子统一从pyflink.multimodal.operators 中导入，图像处理相关依赖已经内置，使用内置算子时，用户无需在作业中引入额外依赖。

from pyflink.dataframe import col
from pyflink.multimodal.operators import image_metadata, image_decode

result = df.with_column(
    "metadata",
    image_metadata(col("image")),
)

调用方式

算子可以在传入列的同时配置参数，传递的参数需要使用 keyword 方式指定。

from pyflink.dataframe import col
from pyflink.multimodal.operators import image_resize

result = df.with_column(
    "resized",
    image_resize(
        col("image"),
        width=512,
        height=512,
        method="lanczos"
    )
)

也可以先创建配置好的算子，再应用到一个或多个列：

resize = image_resize(
    width=512,
    height=512,
    method="lanczos",
)

result = df.with_column(
    "resized",
    resize(col("image")),
)

图像数据形态

• 不同函数接受的数据形态不同，请以各函数的参数表为准。

• 大部分图像处理函数的输入类型为 DataType.image，如果数据源中的是编码图片字节，通常需要先调用 image_decode 进行解码。只有部分边界函数支持 DataType.binary 或同时支持两种输入。

• 图像编码相关函数通常支持以下编码格式：JPEG、PNG、TIFF、WEBP、BMP、GIF。

内置类型 IMAGE

DataType.image 表示解码后的图像，包含像素数据，以及宽度、高度和图像模式三项元数据，不保留原文件的 JPEG、PNG 等编码格式。

以下算子负责在编码字节与 IMAGE 之间转换：

• image_decode：将编码图片 DataType.binary 解码为 DataType.image；

• image_encode：将 DataType.image 编码为图片 DataType.binary 或 Data URL DataType.string；

预览解码图像

将 DataType.image 编码为 Data URL 后，可将结果作为浏览器图片地址使用。

from pyflink.multimodal.operators import image_encode

result = df.with_column(
    "preview_url",
    image_encode(
        col("image"),
        format="JPEG",
        quality=85,
        output="data_url"  # 选择 data_url
    )
)

返回值格式如下：

data:image/jpeg;base64,...

预览编码图像

编码图像 DataType.binary 需要先转换为包含正确 MIME 类型的 Base64 Data URL，才能作为浏览器图片地址使用，目前应先调用 image_decode，然后再进行 image_encode。