Flink全托管存储公测

实时计算Flink团队开发的全托管存储功能开始公测。相比原有绑定您OSS Bucket的存储方式,全托管存储实现了Flink平台对存储的统一管理,Flink作业运行需要或产生的内部数据文件(例如作业系统检查点、作业快照、日志和JAR包等)将统一存储在Flink平台。全托管存储凭借自动化运维、弹性资源调配、数据可视化及高性能存储等优势,为Flink作业的稳定性和效率提供强大支撑。

公测说明

  • 公测时间:自2024年8月1日开始,全托管存储开始进行公测。

  • 开通方法:开通Flink工作空间时,存储类型选择为全托管存储即可,详情请参见开通实时计算Flink版

  • 费用说明:公测期间暂不收取存储费用。

  • 使用限制:仅北京、上海、杭州和深圳地域逐步灰度开放全托管存储。

说明
  • 公测期间不保障实时计算Flink版服务等级协议(SLA)

  • 后续,公测结束日期、存储费用、开放地域以及原有绑定OSS Bucket切换为全托管存储的迁移方案等,我们将通过公告等渠道进行告知。敬请留意产品最新动态,如果您有相关需求请直接钉钉联系我们。

全托管存储优势

  • 存储运维自动化,极大提升作业稳定性

    非全托管存储模式需要您手动运维OSS,任何误配置(如生命周期、版本控制等)或误操作(如误删除数据),轻则导致作业快照创建或作业恢复的性能骤降,重则导致作业出现正确性问题,引发重大故障。同时,非全托管存储模式下的问题排查非常艰难,需要多方配合,而全托管存储通过自动化运维机制,在确保为您提供最佳存储配置的基础上,根除误用问题,高效解决潜在问题,保证作业稳定性。

  • 存储资源弹性化,有效提升作业连续性

    非全托管模式因OSS自身存在一些限制,在资源瓶颈时可能会影响作业正常运行(如快照失败),导致业务中断。全托管存储基于监控预警和弹性扩容机制,可有效避免资源瓶颈影响作业,保证作业连续性。

  • 存储数据可视化,开启作业视角存储资源管理方式

    繁杂的存储结构让存储数据的管理复杂化,全托管存储模式提供了作业视角的存储资源可视化功能,您可以通过管理作业的生命周期来管理存储数据,而无需关心物理存储结构,详情可参见文件管理

  • 存储性能极致化,持续提升作业存储性能上限

    全托管存储结合作业和存储特性,采用多种技术手段提升作业存储性能,后续也将随着版本迭代持续重点优化,为您带来持续升级的实时存储体验。

  • 存储功能丰富化,解决日益增长的存储业务挑战

    全托管存储基于托管的存储数据,未来将计划推出数据监控、探查、存算分离等核心存储功能,助力您解决更复杂的业务场景。