配置作业部署信息

作业类型

说明

SQL作业

包括SQL代码、引擎版本、附加依赖文件、备注和作业标签信息。参数含义详情请参见SQL作业开发。

JAR作业

包括引擎版本、JAR Uri、 Entry Point Class、 Entry Point Main Arguments、附加依赖文件、备注、Kerberos集群和作业标签。参数含义详情请参见部署作业。

Python作业

包括引擎版本、Python Uri、Entry Module、Entry Point Main Arguments、Python Libraries、Python Archives、 附加依赖文件、备注、Kerberos集群和作业标签。参数含义详情请参见部署作业。

参数

说明

系统检查点间隔

定时执行系统检查点的时间间隔。如果不填写，将会关闭系统检查点。

系统检查点超时时间

默认值为10分钟，到达默认值后系统检查点将生成失败。

两次系统检查点间最短间隔

两次系统检查点之间的最短时间间隔，如果系统检查点最大并行度是1，则该配置确保两个系统检查点之间有一个最短时间间隔。

State数据过期时间

即TTL（Time-to-Live），状态信息的存活时间，单位为小时，默认值为36小时，即作业状态信息将在36小时后自动过期并清除。

当数据首次进入系统并被处理后，它会存储在状态内存中。当下一次相同主键的数据到来时，系统会使用之前存储的状态数据进行计算，并更新其访问时间。这一过程是实时计算的核心，因为它依赖于数据的持续流动。如果数据在设定的TTL时间窗口内未被再次访问，它将被系统视为过期，并从状态存储中清除。

通过合理设置TTL的值，不仅可以维持计算的精确性，还能及时清理陈旧数据，有效减少状态内存的占用，进而降低系统内存负担，提升计算效率和系统稳定性。

Flink重启策略

在Flink作业中，任务失败与重启的机制依赖于作业的拓扑结构。即当多个任务（Task）在短时间内失败时，它们之间的连接关系会影响重启行为：

• 对于没有相互连接的任务，每个失败的任务都会独立重启，并且每次重启都会被分别记录。

• 对于相互连接的任务，一旦某个任务失败，与其相连的任务也会随之重启，但这样的一系列重启只会被计为一次事件。

只有没配置重启策略的情况下，Flink才会根据系统检查点开启与否来决定是否要重启作业。如果配置了重启策略，则会按照配置的策略进行重启。该参数取值如下：

• Failure Rate：基于失败率重启。

  选择基于失败率重启后，您还需要设置检测Failure Rate的时间间隔、时间间隔内的最大失败次数和每次重启时间间隔。

• Fixed Delay（默认值）：固定间隔重启。

  选择基于固定间隔重启后，您可以结合实际业务场景修改尝试重启的次数和每次重启时间间隔参数的取值。

• No Restarts：不会重启。

其他配置

在此设置其他Flink配置。例如akka.ask.timeout: 10。

参数

说明

日志归档

默认已开启日志归档功能。开启日志归档后，您可以在作业日志页面查看历史作业实例的日志，详情请参见查看历史作业实例日志。

归档日志有效期

归档日志有效期默认为7天。

根日志级别

日志级别从低到高顺序如下：

1. TRACE：比DEBUG更细粒度的信息。

2. DEBUG：系统运行状态的信息。

3. INFO：重要或者您感兴趣的信息。

4. WARN：系统可能出现潜在错误的信息。

5. ERROR：系统出现错误和异常的信息。

类日志等级

填写日志名称和日志级别。

日志模板

可以选择为default系统模板或自定义模板。选择自定义模板时支持将日志输出到其他存储，详情请参见配置作业日志输出。