本文为您介绍实时计算-Flink云原生版本的优势以及实时计算-Flink云原生版本选择Kubernetes作为容器调度平台的原因。

实时计算-Flink云原生版本

Flink云原生目前支持部署于容器服务ACK提供的Kubernetes。Flink云原生是Flink和容器服务ACK的深度集合,充分利用了ACK在云平台上整合阿里云虚拟化、存储、网络和安全的能力,为您提供极致的Flink使用体验。

  • 开源

    产品提供多个的Flink版本,与开源Flink接口完全兼容,满足您的平迁需求。

  • 免费

    平台各组件免费使用,您只需支付ECS费用即可使用Flink云原生产品。

  • 易用

    提供开箱即用的作业开发平台,以及Metric采集、展示、监控和报警的能力。满足分钟级别搭建平台的需求,节省您搭建平台的时间。

  • 增值

    未来将提供多种可插拔的增值组件,包括智能调优系统,机器学习组件等。

Why Flink on Kubernetes

Apache Flink是Apache社区的先进开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代storm/spark streaming,成为了目前流式处理领域的热门引擎。主要应用场景包括:实时数仓、实时风控和实时推荐等。

  • Kubernetes的优势
    Kubernetes是目前主流的开源的容器调度平台,它可以自动化应用容器的部署、扩展和操作,提供以容器为中心的基础架构,并快速高效地响应客户需求。Kubernetes具有架构简单,可扩展,自修复等特点。Kubernetes的包括以下优势:
    • 强大的资源隔离。
    • 快速部署、扩展和对接新应用。
    • 节省资源、优化硬件资源的使用。
    • Loosely Coupled,分布式,弹性,微服务化:应用程序分为更小的、独立的部件,可动态部署和管理。
  • Flink选择Kubernetes的原因
    • Flink是大数据类应用,与传统大数据应用如Spark、Hadoop、MapReduce以及Hive等不同的是,Flink是常驻进程,其类似于在线业务的App,作业发布后修改频率较低,要求执行作业的Worker长时间稳定运行。
    • 与其他批处理作业相比,流作业任务通常应用于实时风控和实时推荐的业务场景下,其重要度更高,稳定性要求也更高。
  • 实时计算Flink云原生版(Flink on Kubernetes)的优势
    • 运维侧模型统一降低运维成本

      越来越多的企业将传统的在线任务服务切换至Kubernetes。Flink运行在kubernetes上,可统一在线离线技术体系,降低用户运维成本。

    • 弹性伸缩与成本优化
      容器的最大特性之一是弹性的能力,对于大数据的业务而言,提高集群资源的利用率从而降低成本,是用户考虑的第一要务。Flink on Kubernetes模式,结合即将要推出的Flink单作业Autoscale功能,可完美应对单任务突发性负载:
      • 高流量时自动申请ECS,降低作业延时。
      • 低流量时缩减作业资源,释放ECS,保证作业延时的同时降低用户成本。