阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。

发展历史

2017年,阿里巴巴集团统一合并了三大实时计算产品(Galaxy、JStorm和Blink),Blink凭借优异的性能成为统一的实时计算2.0产品,支撑了全集团所有BU的实时数据业务。在过去4年里,Blink作为Flink开源版本的分支,内部做了很多深度优化与改进,使其能够支撑集团超大规模的业务场景,包括搜索和推荐等核心的业务场景。

2019年1月,阿里巴巴集团收购了Flink创始公司(DataArtisans),Blink团队与Flink创始团队联合打造全球统一的Flink企业版平台,即VVP(Ververica Platform),实时计算正式进入3.0时代。

发展历史

产品架构

产品架构

产品优势

  • 性能优越:单核CPU每秒数十万条记录处理能力,端口间达亚秒级数据处理延迟,支持数万并发超大规模实时任务计算。
  • 功能强大:一站式SQL开发运维平台,智能化诊断与自动配置调优,无缝对接阿里云主流数据产品。
  • 物美价廉:单核CPU计算每小时低至0.25元,可基于负载弹性伸缩及按量付费,TCO大幅低于IDC自建。
  • 稳定可靠:SLA稳定性达到99.9%,全链路指标监控报警,历经阿里巴巴多年双十一检验。
  • 兼容开源:100%兼容Apache Flink,支持开源Flink平滑迁移上云,无缝对接主流开源大数据生态。
  • 品牌认证:Flink创始团队官方出品,中国信通院权威认证,中国唯一进入Forrester象限的实时流计算产品。

与开源Apache Flink对比

整体来说,实时计算Flink版相对于开源版具有更优势的功能性和稳定性,除了运维方面的优势,开箱即用也让用户更加方便。

对比
  • 开发方面:

    具备丰富的数据连接能力和一站式的多语言的开发环境,内置多种函数库,方便您进行代码调试,还可以进行多租户的开发、任务的调试和测试的模拟等。

  • 运维方面:
    • 支持全链路的监控报警,在使用过程中出现的数据延迟、数据异常、服务中断等您都可以进行自动报警。
    • 支持自动化的智能诊断和调优,能够根据业务流量自动帮您进行性能调优、作业调优、参数调优和资源调优等,针对问题可以进行诊断优化。
    • 在开源的基础上,做到了更细粒度和更精细化的资源的调配,使得每个作业每个算子都可以在CPU和内存粒度上进行配置,大幅优化资源的利用率,帮您节省成本、提升服务的稳定性和降低OOM的概率。
    • 搭配原厂的运维兜底服务,SLA 99.9%的保证,以及全链路的容错能力,系统稳定性的保证,充分解决您的后顾之忧。
  • 成本方面:
    • 通过云上成本优化,在性能提升的同时降低整体的TCO,这也是核心性能的优势。
    • 基于Nexmark的流计算的标准测试中,实时计算Flink版的产品性能约为开源的3倍,依托阿里集团强大的研发团队在内部核心业务场景下积累的实践优化,使得产品在降低基础成本上,突出核心优势。
    • 实时计算Flink版还具备云原生的弹性扩容能力,可以帮您合理地节省资源,提高资源利用率。产品付费类型支持包年包月付费和按量付费,以更好地适配不同的需求。
  • 安全层面:
    • 通过容器化的任务隔离,提高您的使用感受,并且支持租户隔离、安全隔离、VPC隔离等多种需求。
    • 与阿里的账号体系直接打通,您可以基于阿里云的账号无缝进行产品之间的安全管控,也支持基于角色、OIDC这种开放的身份认证协议,大大提高业务的安全性。

解决方案

Flink作为实时计算的一个流式计算引擎,可以处理多种实时数据,包括ECS在线服务日志,IoT场景下传感器数据等各类实时数据。同时可以订阅云上数据库RDS、PolarDB等这种关系型数据库中Binlog的更新。再通过DataHub数据总线产品、SLS日志服务、开源的Kafka消息队列产品等将实时数据进行订阅,收录进实时计算产品中,进行实时的数据分析和处理。最终将分析结果写入不同的数据服务中,例如MaxCompute、MaxCompute-Hologres交互式分析、PAI机器学习、Elasticsearch等产品中,根据业务需求选择最佳数据服务产品,提高数据利用率。

Flink主要的应用场景就是将各种不同的实时数据源中的数据进行实时的订阅、处理、分析,并把得到的结果写入到其他的在线存储之中,让您直接生产使用。整个系统具有速度快、数据准、云原生架构以及智能化等特点,是一款非常具有竞争力的企业级的产品。产品运行在阿里云的容器服务和ECS等IaaS系统上,跟阿里云的各项系统天然打通,方便您适用更多场景。解决方案