本文为您介绍如何将Bayes上的作业迁移到实时计算开发控制台,包括迁移步骤、使用限制和注意事项。
前提条件
您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限,Flink权限管理详情,请参见权限管理。
Flink工作空间和Bayes具有相同的VPC,即可保证迁移后上下游网络的连通性。
使用限制
DataStream作业JAR包无法迁移,因此作业迁移后,仅会在实时计算开发控制台上创建该作业和转换作业参数,您需要重新编辑与上传JAR包。
State无法迁移,您需要在实时计算开发控制台上重新启动作业。
自定义Connector无法迁移,您需要根据新的Flink版本重新编译并在实时计算开发控制台上进行上传。
细粒度的资源配置无法迁移,您需要在实时计算开发控制台上重新设置作业资源。
开发态的多版本作业不会被迁移,仅迁移已上线的作业。
已经迁移成功的作业,无法再次迁移。
仅支持迁移Blink 3.x版本,迁移后对应使用Flink1.13版本。
注意事项
登录Bayes的阿里云账号需要以aliyunstreamdefaultrole角色的身份调用实时计算开发控制台接口进行数据迁移。因此,Blink迁移至Flink时,需要在实时计算开发控制台的安全中心添加aliyunstreamdefaultrole RAM角色,否则会出现权限不足的报错,添加角色的操作如下图所示。
具体成员添加及角色区别详情请参见项目空间授权。
操作步骤
申请项目Owner权限。
进行Blink作业迁移前,需要申请迁移Bayes项目的Owner权限。详情请参见RAM用户授权。
在Bayes上新建迁移任务。
登录实时计算控制台。
在迁移页签,单击新建任务。
填写名称并选择需要迁移到的Flink项目。
配置项
说明
名称
迁移项目名称。
VVP Workspace
目标Flink工作空间ID。
VVP Namespace
目标Flink项目名称。
单击确定后,在迁移任务列表页面,查看新建的迁移任务。
管理流作业或批作业迁移任务。
单击管理。
单击流作业管理。
选中目标Blink作业后,单击向右的箭头。
说明支持通过作业类型筛选作业,包括SQL和DataStream类型的作业。
支持通过作业运行状态筛选作业,作业运行状态包括报错、未启动、等待、运行、暂停和停止。
支持通过迁移状态筛选作业,迁移状态包括已迁移和未迁移。
支持通过文件夹目录查找作业。
支持通过文件名搜索作业。
支持作业多选、全选、反选。
单击确定。
开始进行迁移。
单击对比,可以查看迁移前后代码的变化。
在迁移任务列表页面,单击运行。
单击运行后,该项目下选择的全部作业会开始迁移。
说明如果没有运行按钮,则说明该迁移任务下没有迁移作业。您需要单击管理,添加迁移作业。
在实时计算开发控制台,针对迁移的作业进行部署、资源配置和启动。
在实时计算开发控制台 页面,修改作业引擎版本。
说明通过工具转化的作业需要使用Flink1.13(VVR 4.x.x)版本的引擎启动,建议您在迁移前将作业模版中的默认引擎版本修改为Flink1.13(VVR 4.x.x)版本,避免迁移后需要逐个作业修改引擎版本。如果在迁移前,您没有修改作业模板中的默认引擎版本,则需要在迁移后,手动重新修改对应作业的引擎版本。
单击部署。
在
页面,修改作业资源。单击启动。
常见问题
Q:如果迁移失败,应该如何处理?
A:您可以单击迁移失败,查看失败原因后进行对应的处理。然后再单击运行,即可继续迁移失败的作业。