完成作业开发和部署后,您需要在作业运维页面启动作业至运行阶段。此外,作业在停止后需要恢复、更新非动态生效的参数配置后需要生效时,也需要启动作业。本文为您介绍如何启动作业。
前提条件
已完成作业部署,详情请参见部署作业。
使用限制
仅流作业支持填写启动选项。
仅实时计算引擎VVR 4.0.11及以上版本支持State兼容性检测。
注意事项
当RAM用户、RAM角色或其他阿里云账号在启动作业时,请确保其具有目标项目空间的访问权限,详情请参见项目空间授权和权限管理。
在启动作业时,如果您选择从最新状态或指定状态启动作业时,系统会进行State兼容性检测。请谨慎启动存在不兼容情况的作业,因为启动后可能会出现启动失败或者运行结果等不符合预期的问题。详情请参见Flink State兼容性参考。
操作步骤
进入作业启动界面。
具有owner角色的成员登录Flink开发控制台。
在页面顶部,选择目标项目空间名称。
在
页面的下拉列表中,选择流作业或批作业。
在目标作业名称右侧,单击操作列下的启动。
(可选)流作业需要填写启动选项信息。
无状态启动
当您是新上线作业或者无法复用State时,需要选择无状态启动。此外,您需要根据业务情况决定是否打开自动调优。
策略
说明
指定源表开始时间
选中指定源表开始时间并指定具体的时间信息。
仅日志服务SLS和消息队列Kafka支持在界面上设置源表开始时间。
作业启动界面指定的读取数据时间优先级高于作业DDL代码里设置的startTime。
说明不是所有连接器都支持配置startTime参数,详情请参见各连接器WITH参数是否包含startTime,例如日志服务SLS WITH参数。
只有全新启动作业并指定了startTime,startTime才生效。如果基于系统检查点或作业快照启动作业,指定了startTime不会生效。
配置自动调优
打开该开关后,您需要选择调优模式:
有状态启动
您可以根据业务情况选择具体的启动策略,以及决定是否打开自动调优。
策略
说明
从最新状态恢复
从快照或者系统检查点的最新状态进行恢复。如果您选择从最新状态启动作业时,Flink系统会检测SQL作业变化(SQL、Flink运行参数配置和引擎版本)。
当检测到作业发生变化时,建议单击状态兼容性检测旁的点击检测检查兼容性,并依据兼容性结果后决定后续行为。兼容性结果含义及建议,详情请参见兼容性。
从指定状态恢复
选择指定的快照,快照创建步骤详情请参见作业状态集管理。
从其他作业恢复
选择从其他作业恢复后,您需要指定目标作业及对应的快照,来进行作业恢复。支持作业间快照的共享,但需要满足作业间的状态的兼容性,详情请参见作业状态集管理。
允许忽略部分算子状态(AllowNonRestoredState)
说明仅JAR作业支持。
默认情况下,Flink系统会尝试将整个快照与正在提交的作业匹配。作业的修改引起算子状态的变化,会出现任务不能恢复的情况。此时您可以打开此开关,Flink系统将跳过无法匹配的状态,让作业先正常启动起来。允许忽略部分算子状态详情请参见Allow None-Restored State。
配置自动调优
打开该开关后,您需要选择调优模式:
单击启动。
在查看作业运行状态。
页面,查看作业运行状态,详情请参见
相关文档
作业启动后,如果您需要修改作业运行参数,请参见运行参数配置。部分参数也支持动态更新,减少作业启停带来的业务断流时间,详情请参见动态扩缩容与参数动态更新。
作业启动后,如果您需要进行作业的数据溯源和追踪,定位问题或者评估影响面,请参见查看血缘关系。
如果您需要了解企业级状态后端存储GeminiStateBackend,以及其与RocksDBStateBackend的性能对比情况,请参见企业级状态后端存储介绍。
作业启动、停止的相关API,请参见作业实例。