创建自定义数据格式

更新时间:
复制 MD 格式

Flink提供了一系列可以被Connector使用的数据格式,例如JSON,Avro等。它定义了如何将二进制数据映射到表列的存储格式。本文介绍如何在Flink全托管控制台注册自定义的数据格式。

背景信息

在创建SQLDDL语句时,通过在WITH参数中指定数据格式(Format)类型即可使用不同的数据格式。

使用限制

  • 自定义数据格式需根据社区定义的数据格式标准开发,才能被Flink全托管产品正确识别并使用。自定义数据格式开发标准请参见Formats

  • 同种类型的数据格式仅可以上传一次。

注意事项

为了避免数据格式JAR包依赖冲突,您还需要注意以下几点:

  • Flink镜像和Pom依赖的Flink版本请保持一致。

  • 请不要上传Runtime层的JAR包,即在依赖中添加<scope>provided</scope>。

  • 其他第三方依赖请采用Shade方式打包,Shade打包详情参见Apache Maven Shade Plugin

创建自定义数据格式

  1. 登录实时计算控制台

  2. Flink全托管页签,单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击连接器。单击数据格式页签,然后单击创建自定义数据格式

  4. 上传 JAR步骤中,单击选择文件,然后选择目标文件。

  5. 单击下一步

  6. 查看 Format步骤中,查看并修改属性信息。

    可以针对已有的Property,添加描述信息和默认值等。此外还可以增删Property

  7. 单击完成