实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通,支持实时写入Flink的数据,您可以实时查询写入的数据,帮助您快速搭建实时数仓。

阿里云实时计算Flink版本身不能进行业务存储,所有的数据均来自于外部存储系统持有的数据。阿里云实时计算Flink版支持的数据存储类型如下:
  • 源表

    源表指输入至Flink的数据输入源。Flink的源表输入数据至Hologres时使用的是批量导入而非流式导入,Hologres会将全表的数据统一扫描一次后再输出至下游,扫描完成后本次作业结束。

  • 维表

    维表指静态数据的输入。维表一般适用于点查询场景,因此在Hologres中,维表建议使用行存储,并且JOIN的字段必须是完整的主键字段。

  • 结果表

    结果表用于接收并存放经过Flink计算的结果数据,为下游数据继续消费提供各类读写接口。

  • Binlog

    使用消息队列的模式消费Hologres表的Change Log。

Hologres支持的Flink产品形态及功能如下表所示。
产品形态 数据存储类型 描述
源表 结果表 维表 Binlog
Flink全托管 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 不支持 使用VVP开发平台。
Flink半托管 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 不支持 使用VVP开发平台。
Blink独享 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 Hologres V0.8版本只支持行存储,V0.9及以上版本支持行存储及列存储。建议使用行存储。

使用Bayes开发平台。

Blink独享集群3.5以下的版本与Hologres不兼容,建议您升级至3.7版本使用。

开源Flink1.10 支持行存储及列存储。 支持行存储及列存储。 - 不支持 -
开源Flink1.11 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 不支持 -