实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通,支持实时写入Flink的数据,您可以实时查询写入的数据,帮助您快速搭建实时数仓。

阿里云实时计算Flink版本身不能进行业务存储,所有的数据均来自于外部存储系统持有的数据。阿里云实时计算Flink版支持的数据存储类型如下:
  • 源表

    源表指输入至Flink的数据输入源。Flink的源表输入数据至Hologres时使用的是批量导入而非流式导入,Hologres会将全表的数据统一扫描一次后再输出至下游,扫描完成后本次作业结束。

  • 维表

    维表一般适用于点查询场景,因此在Hologres中,维表建议使用行存储,并且JOIN的字段必须是完整的主键字段。

  • 结果表

    结果表用于接收并存放经过Flink计算的结果数据,为下游数据继续消费提供各类读写接口。

  • Binlog

    使用消息队列的模式消费Hologres表的Change Log。

Hologres支持的Flink产品形态及功能如下表所示。
产品形态 数据存储类型 描述
源表 结果表 维表 Binlog
Flink全托管 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 VVP-2.4版本支持 使用VVP开发平台。
Blink独享 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 Hologres V0.8版本只支持行存储,V0.9及以上版本支持行存储及列存储。建议使用行存储。

使用Bayes开发平台。

Blink独享集群3.5以下的版本与Hologres不兼容,建议您升级至3.7版本使用。

开源Flink1.10 支持行存储及列存储。 支持行存储及列存储。 - 不支持 -
开源Flink1.11 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 不支持 从开源Flink1.11版本开始,Hologres代码已开源。详细内容请参见GitHub
源Flink1.12 支持行存储及列存储。 支持行存储及列存储。 建议使用行存储。 支持