Flink提供了一系列可以被Connector使用的数据格式,例如JSON,Avro等。它定义了如何将二进制数据映射到表列的存储格式。本文介绍如何在Flink全托管控制台注册自定义的数据格式。
背景信息
在创建SQL的DDL语句时,通过在WITH参数中指定数据格式(Format)类型即可使用不同的数据格式。
使用限制
自定义数据格式需根据社区定义的数据格式标准开发,才能被Flink全托管产品正确识别并使用。自定义数据格式开发标准请参见Formats。
同种类型的数据格式仅可以上传一次。
注意事项
为了避免数据格式JAR包依赖冲突,您还需要注意以下几点:
Flink镜像和Pom依赖的Flink版本请保持一致。
请不要上传Runtime层的JAR包,即在依赖中添加<scope>provided</scope>。
其他第三方依赖请采用Shade方式打包,Shade打包详情参见Apache Maven Shade Plugin。
创建自定义数据格式
登录实时计算控制台。
在Flink全托管页签,单击目标工作空间操作列下的控制台。
在左侧导航栏,单击连接器。单击数据格式页签,然后单击创建自定义数据格式。
在上传 JAR步骤中,单击选择文件,然后选择目标文件。
单击下一步。
在查看 Format步骤中,查看并修改属性信息。
可以针对已有的Property,添加描述信息和默认值等。此外还可以增删Property。
单击完成。
该文章对您有帮助吗?