阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。

发展历史

2017年,阿里巴巴集团统一合并了三大实时计算产品(Galaxy、JStorm和Blink),Blink凭借优异的性能成为统一的实时计算2.0产品,支撑了全集团所有BU的实时数据业务。在过去4年里,Blink作为Flink开源版本的分支,内部做了很多深度优化与改进,使其能够支撑集团超大规模的业务场景,包括搜索和推荐等核心的业务场景。

2019年1月,阿里巴巴集团收购了Flink创始公司(DataArtisans),Blink团队与Flink创始团队联合打造全球统一的Flink企业版平台,即VVP(Ververica Platform),实时计算正式进入3.0时代。

发展历史

产品架构

产品架构

解决方案

Flink作为实时计算的一个流式计算引擎,可以处理多种实时数据,包括ECS在线服务日志,IoT场景下传感器数据等各类实时数据。同时可以订阅云上数据库RDS、PolarDB等这种关系型数据库中Binlog的更新。再通过DataHub数据总线产品、SLS日志服务、开源的Kafka消息队列产品等将实时数据进行订阅,收录进实时计算产品中,进行实时的数据分析和处理。最终将分析结果写入不同的数据服务中,例如MaxCompute、MaxCompute-Hologres交互式分析、PAI机器学习、Elasticsearch等产品中,根据业务需求选择最佳数据服务产品,提高数据利用率。

Flink主要的应用场景就是将各种不同的实时数据源中的数据进行实时的订阅、处理、分析,并把得到的结果写入到其他的在线存储之中,让您直接生产使用。整个系统具有速度快、数据准、云原生架构以及智能化等特点,是一款非常具有竞争力的企业级的产品。产品运行在阿里云的容器服务和ECS等IaaS系统上,跟阿里云的各项系统天然打通,方便您适用更多场景。解决方案