阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。

发展历史

2017年,阿里巴巴集团统一合并了三大实时计算产品(Galaxy、JStorm和Blink),Blink凭借优异的性能成为统一的实时计算2.0产品,支撑了全集团所有BU的实时数据业务。在过去4年里,Blink作为Flink开源版本的分支,内部做了很多深度优化与改进,使其能够支撑集团超大规模的业务场景,包括搜索和推荐等核心的业务场景。

2019年1月,阿里巴巴集团收购了Flink创始公司(DataArtisans),Blink团队与Flink创始团队联合打造全球统一的Flink企业版平台,即VVP(Ververica Platform),实时计算正式进入3.0时代。

发展历史

产品架构

产品架构

产品优势

  • 性能优越:单核CPU每秒数十万条记录处理能力,端口间达亚秒级数据处理延迟,支持数万并发超大规模实时任务计算。
  • 功能强大:一站式SQL开发运维平台,智能化诊断与自动配置调优,无缝对接阿里云主流数据产品。
  • 物美价廉:单核CPU计算每小时费用低,可基于负载弹性伸缩及按量付费,TCO大幅低于IDC自建。
  • 稳定可靠:SLA稳定性达到99.9%,全链路指标监控报警,历经阿里巴巴多年双十一检验。
  • 兼容自建:100%兼容自建Flink,支持自建Flink平滑迁移上云,无缝对接主流开源大数据生态。
  • 品牌认证:Flink创始团队官方出品,中国信通院权威认证,中国唯一进入Forrester象限的实时流计算产品。

与自建Flink对比

整体来说,实时计算Flink版相对于自建Flink具有更优势的功能性和稳定性,除了运维方面的优势,开箱即用也让用户更加方便。详情请参见下表。
类型 功能 描述
开发方面 数据连接 可以与阿里云主流数据产品无缝集成,包括主流数据库、消息队列和日志服务等。
可以按需自定义Connector对接各种外部存储系统。
任务开发 支持多语言:一站式开发管理平台,包括SQL、Java、Scala和Python语言。
元数据:内置统一元数据管理,并可无缝对接外部元数据系统,例如MySQL或Hive等。
函数库:内置多个领域函数库(例如Analytics Zoo cluster serving),并可以按需自定义函数。
代码调试 测试数据管理:支持线上采样和Mock测试数据管理,方便构建测试流程。
快速运行调试:基于Session集群实现作业秒级启停,大幅提高作业调试效率。
开发生产隔离:开发调试过程不影响生产作业和数据。
运维方面 监控告警 支持全链路的监控报警,如果在作业运行过程中,出现数据延迟、数据倾斜和反压等问题,可以进行自动报警。此外,还支持丰富的指标监控和维度聚合,便于您对问题进行排查。
支持通过钉钉、邮件和短信等方式及时发出告警。此外,您还可以对接企业内部统一告警系统,例如prometheus或graphite等。
智能诊断调优 智能诊断:及时发现作业问题并给出合理的改进建议。
智能调优:无人值守,自动监控并调整作业资源分配,顺利度过业务流量洪峰。
细粒度资源 支持算子级别的精细化资源配置,使得每个作业每个算子都可以在CPU和内存粒度上进行配置,大幅提高资源利用率,帮您节省成本、提升服务的稳定性和降低OOM的概率。
高可用保障 搭配原厂的运维兜底服务,SLA服务可用性达到99.9%。此外,全链路的自动容错能力,可以保证系统的稳定性,充分解决您的后顾之忧。
成本方面 付费类型 支持包年包月和按量付费两种付费类型,您可以根据自身业务特点,选择合适的付费类型。
核心性能 基于Nexmark流计算标准测试性能,实时计算Flink版产品性能约为自建Flink性能的3倍。依托阿里集团强大的研发团队在内部核心业务场景下积累的实践优化,使得产品在降低基础成本上,突出核心优势。
弹性扩缩容 实时计算Flink版具备云原生的弹性扩缩容能力,可以根据业务负载智能扩缩容,保障业务时效性同时帮您合理地节省资源,提高资源利用率。通过云上成本优化,在性能提升的同时降低整体的TCO,这也是核心性能的优势。
安全方面 空间隔离 支持租户级和项目级的资源和代码隔离,满足您跨团队协作的需求。通过容器化的任务隔离,提高您的使用感受。
访问控制 与阿里云账号体系打通,支持OIDC身份认证标准协议,支持基于角色的访问控制(RBAC)。您可以基于阿里云的账号无缝进行产品之间的安全管控,大大提高业务的安全性。

解决方案

Flink作为实时计算的一个流式计算引擎,可以处理多种实时数据,包括ECS在线服务日志,IoT场景下传感器数据等各类实时数据。同时可以订阅云上数据库RDS、PolarDB等这种关系型数据库中Binlog的更新。再通过DataHub数据总线产品、SLS日志服务、开源的Kafka消息队列产品等将实时数据进行订阅,收录进实时计算产品中,进行实时的数据分析和处理。最终将分析结果写入不同的数据服务中,例如MaxCompute、MaxCompute-Hologres交互式分析、PAI机器学习、Elasticsearch等产品中,根据业务需求选择最佳数据服务产品,提高数据利用率。

Flink主要的应用场景就是将各种不同的实时数据源中的数据进行实时的订阅、处理、分析,并把得到的结果写入到其他的在线存储之中,让您直接生产使用。整个系统具有速度快、数据准、云原生架构以及智能化等特点,是一款非常具有竞争力的企业级的产品。产品运行在阿里云的容器服务和ECS等IaaS系统上,跟阿里云的各项系统天然打通,方便您适用更多场景。解决方案