配置作业部署信息

在作业启动前,您需要配置作业部署信息。本文为您介绍如何配置作业部署信息。

前提条件

  • 其他阿里云账号或RAM用户等访问项目空间,并进行作业资源配置等操作时,则需要为其进行授权,详情请参见开发控制台授权

  • 已完成作业部署,详情请参见部署作业

操作步骤

  1. 登录实时计算控制台

  2. 单击目标工作空间操作列下的控制台

  3. 运维中心 > 作业运维页面,单击目标作业名称。

  4. 部署详情页签,单击目标区域右侧的编辑

    说明

    因为SQL作业基础配置需要返回到数据开发 > ETL页面,才能编辑作业草稿并重新部署。所以在单击基础配置区域右侧的编辑后,您还需要在弹出的对话框中,单击确定

  5. 修改作业部署信息。

    您可以修改以下几个方面的部署信息:

  6. 单击保存

基础配置

作业类型

说明

SQL作业

包括SQL代码、引擎版本附加依赖文件备注作业标签信息。参数含义详情请参见作业开发地图

说明

单击基础配置右侧的编辑后,需要返回到SQL开发页面编辑作业草稿并重启部署。如果您需要继续进行编辑,请单击确定

JAR作业

包括引擎版本JAR UriEntry Point ClassEntry Point Main Arguments附加依赖文件备注Kerberos集群作业标签。参数含义详情请参见部署作业

Python作业

包括引擎版本Python UriEntry ModuleEntry Point Main ArgumentsPython LibrariesPython Archives附加依赖文件备注Kerberos集群作业标签。参数含义详情请参见部署作业

运行参数配置

参数

说明

系统检查点间隔

定时执行系统检查点的时间间隔。如果不填写,将会关闭系统检查点。

系统检查点超时时间

默认值为10分钟,到达默认值后系统检查点将生成失败。

两次系统检查点间最短间隔

两次系统检查点之间的最短时间间隔,如果系统检查点最大并行度是1,则该配置确保两个系统检查点之间有一个最短时间间隔。

State数据过期时间

TTL(Time-to-Live),状态信息的存活时间,单位为小时,默认值为36小时,即作业状态信息将在36小时后自动过期并清除。

重要

此处默认值根据云上最佳实践的经验值设置,与开源的默认值不同(开源默认值为0,表示状态信息永不过期)。

当数据首次进入系统并被处理后,它会存储在状态内存中。当下一次相同主键的数据到来时,系统会使用之前存储的状态数据进行计算,并更新其访问时间。这一过程是实时计算的核心,因为它依赖于数据的持续流动。如果数据在设定的TTL时间窗口内未被再次访问,它将被系统视为过期,并从状态存储中清除。

通过合理设置TTL的值,不仅可以维持计算的精确性,还能及时清理陈旧数据,有效减少状态内存的占用,进而降低系统内存负担,提升计算效率和系统稳定性。

Flink重启策略

Flink 作业的重启行为由两部分决定:作业级重启策略和任务级故障恢复策略。

作业级重启策略

Flink 只在未配置作业重启策略时,才根据系统检查点是否开启决定是否重启作业。

  • 如果开启了检查点,Flink 按 Fixed Delay 策略重启作业。

  • 如果未开启检查点,Flink 不重启作业。

显式配置作业重启策略

  • No Restarts:作业失败后不重启。

  • Fixed Delay(默认):作业失败后,按固定时间间隔尝试重启。你需要设置最大重启次数和每次间隔。

  • Failure Rate:按失败率重启。你需要设置:失败率检查窗口、窗口内最大失败次数、每次重启间隔。

任务级故障恢复策略

该策略控制任务失败后需要如何重启任务。通过 jobmanager.execution.failover-strategy配置。选项如下:

  • full:重启整个作业。任一任务失败,所有任务都重启。

  • region(默认):只重启必要的最小任务集合。这些任务组成一个 Pipelined Region。

更多详情请参见Restart Strategies

说明

作业包含两条source-sink链路,彼此无数据连接。其中一个task失败,使用 region 故障恢复策略,Flink 只重启失败 task 所在的链路,另一条链路继续运行,不受影响。这会导致两条链路的start time不一致的情况,属于正常现象。

其他配置

在此设置其他Flink配置。例如akka.ask.timeout: 10jobmanager.execution.failover-strategy: full

日志配置

参数

说明

日志归档

默认已开启日志归档功能。开启日志归档后,您可以在作业日志页面查看历史作业实例的日志,详情请参见查看历史作业实例日志

说明
  • VVR 3.x版本,仅VVR 3.0.7及以上版本支持开启日志归档功能。

  • VVR 4.x版本,仅VVR 4.0.11及以上版本支持开启日志归档功能。

归档日志有效期

归档日志有效期默认为7天。

根日志级别

日志级别从低到高顺序如下:

  1. TRACE:比DEBUG更细粒度的信息。

  2. DEBUG:系统运行状态的信息。

  3. INFO:重要或者您感兴趣的信息。

  4. WARN:系统可能出现潜在错误的信息。

  5. ERROR:系统出现错误和异常的信息。

类日志等级

填写日志名称和日志级别。

日志模板

可以选择为default系统模板或自定义模板。选择自定义模板时支持将日志输出到其他存储,详情请参见配置作业日志输出

相关文档