首页 实时计算 Flink版 操作指南 运维管理 作业状态管理 OSS Bucket数据迁移至全托管存储

OSS Bucket数据迁移至全托管存储

更新时间: 2025-04-27 11:47:53

相比原有的绑定OSS存储方式,全托管存储通过统一管理作业运行所需数据显著提升了作业的稳定性、效率以及运维便捷性。实时计算Flink版支持将绑定OSS的数据迁移至全托管存储。本文将为您介绍迁移的操作步骤与注意事项。

背景信息

在实时计算Flink版中,您可通过绑定对象存储服务(OSS)Bucket存储作业所需的静态数据(如UDF、JAR包、自定义连接器等)以及运行过程中生成的内部数据文件(如检查点、快照和日志)。

然而,传统存储方式存在诸多局限性,包括运维复杂(需手动管理权限和生命周期)、资源调配不足(可能导致性能瓶颈)以及数据分散(增加管理与排查难度)等问题。

为解决上述问题,实时计算Flink版推出了全托管存储功能。该功能通过对作业相关数据的统一管理,实现了自动化运维、弹性资源调配、数据可视化和高性能存储等核心优势。具体优势详情请参见全托管存储优势

通过将现有绑定OSS数据迁移至全托管存储,您可显著提升作业的稳定性与运行效率。目前,全托管存储功能正处于公测阶段,公测期间暂不收取存储费用,详情请参见公测说明

注意事项

  • 目前,全托管存储仅在北京、上海、杭州和深圳地域开放,因此仅这些地域的工作空间的OSS Bucket支持迁移。

  • 仅迁移OSS Bucket中和目标Flink工作空间相关的静态数据和内部数据文件。

  • 为确保使用了OSS连接器的作业在迁移到全托管存储后能够正常运行,必须将实时计算引擎版本升级至VVR 8.0.5或更高版本。这是因为,在VVR 8.0.5以下版本中,Flink默认对用户的所有OSS资源拥有完全权限,访问OSS时无需设置Access Key(AK)。然而,全托管存储的技术方案调整后,不再默认赋予用户对OSS的全部权限,这会导致低版本作业因权限不足而无法启动。

    此外,VVR 8.0.5及以上版本的OSS连接器已发生变更,需要手动配置AK信息以确保正常访问OSS。因此,在迁移至全托管存储前,请务必完成版本升级并正确配置相关权限信息。详情请参见配置Bucket鉴权信息

  • 迁移后暂不支持手动进行回滚。如需回滚,请提交工单

操作步骤

步骤一:在OSS Bucket设置迁移权限

  1. 登录OSS管理控制台,找到实时计算Flink版绑定的Bucket。

    绑定的Bucket信息查看方式请参见如何查看工作空间ID等信息?

  2. Bucket授权策略页签,单击新增授权

    image

  3. 设置权限信息后单击确定

    勾选其他账号,且内容写为arn:sts::1060219998962774:assumed-role/aliyunstreamasidefaultrole/refresh_token,授权操作为只读(包含ListObject操作)。

    image

  4. 查看授权结果。

    image

步骤二:迁移工作空间的静态数据

重要
  • 在全托管存储开通过程中,禁止释放工作空间、创建或删除项目空间。

  • 全托管存储开通后,新作业将默认使用全托管存储,您对静态数据的修改会仅保存在全托管存储上。

  1. 进行工作空间静态数据迁移操作。

    1. 登录实时计算管理控制台

    2. 单击运行中的目标工作空间操作列下的更多 > 切换全托管存储

    3. 选中服务协议,并单击确定后,等待迁移完成。

      image

  2. 查看存储类型文件管理页面的变化。

    • 在实时计算管理控制台,单击目标工作空间操作列下的更多 > 工作空间详情。检查存储类型是否已从OSS Bucket更改为全托管

      image

    • 在实时计算开发控制台,查看文件管理页面页签的变化。

      操作

      页面特征

      迁移前

      文件管理页面只有一个文件管理页签。

      image

      迁移后

      文件管理页面存在多个页签,相关页签中存在目标静态数据文件。

      image

步骤三:迁移作业状态数据

说明

创建、编辑、查看和删除迁移计划需要具备相应权限,权限要求及操作请参见项目空间授权

  1. 停止目标作业

  2. 进入迁移计划创建页面。

    1. 登录实时计算管理控制台

    2. 单击目标工作空间操作列下的控制台

    3. 在左侧导航栏,单击文件管理

  3. 迁移计划页签,单击创建迁移计划

  4. 配置迁移计划。

    配置项

    说明

    名称

    名称必须唯一,不含特殊字符,128个字符以内。

    迁移作业

    选择需要迁移的作业名称,直接单击选中目标作业或在搜索框输入目标迁移的作业名称后单击选中。

    重要
    • 仅支持迁移停止后的作业,运行中作业可能动态生成新的状态,暂时不支持迁移。

    • 已完成迁移或者添加到其他迁移计划的作业无法被添加。

    • 正在迁移中的作业(deployment或draft)不可被启动、编辑、删除和部署。

  5. 单击确定后等待迁移完成。

    状态由运行中变为已完成表示作业状态数据迁移完成,且可以在作业状态页签看到迁移过来的作业状态信息。

    image

  6. 通过检测按钮,查看作业状态数据迁移完成情况。

    1. 单击目标工作空间操作列下的更多 > 工作空间详情

    2. 在存储类型区域,单击检测

      image

步骤四:启动并查看迁移计划

  1. 在迁移计划列表页签,单击目标迁移计划操作列下的启动

  2. 启动完成后,单击操作列下的详情

    您可以看到作业的状态迁移完成情况。

    image

(可选)步骤五:从指定状态启动作业

OSS Buclet数据迁移完成后,您就可以从指定状态启动作业,启动操作及配置详情请参见作业启动

相关文档

  • 企业级状态后端存储GeminiStateBackend可能会用到的一些调优参数,详情请参见企业级状态后端存储配置

  • 系统检查点(Checkpoint)和作业快照(Savepoint)的创建、查看等操作,详情请参见作业状态集管理

  • 实时计算Flink版支持跨项目空间复制实体及配置信息,详情请参见项目空间克隆

上一篇: 其他限制 下一篇: 作业高级配置
阿里云首页 实时计算 Flink版 相关技术圈