配置作业资源

您可以根据以下公式进行推算：

• 作业所配置的CU数 = MAX（JM和TM的CPU总和, JM和TM的内存总和/4）

• 实际TM数 = 并发度 / 每个TaskManager Slot数

• 实际每个TM上可分配的slot数 = 并发数 / 实际TM数。

例如，当并发度设置为12，每个TM Slot数设置为4。

此示例中，Job Manager CPU为2 Core，Job Manager Memory为4 GiB，Task Manager CPU为2 Core，Task Manager Memory为4 GiB。

在Flink开发控制台，您会看到实际的TaskManager数为3，每个TaskManager Slot数为4。

实际的TM数和每个TM的Slot数的推算过程如下：

1. 实际TM数 = [设置的并发度/设置的每个TaskManager Slot数] = [12/4] = 3。

2. 实际TM的Slot数=[并发数/实际TM数] = [12/3]= 4。

配置基础资源

配置Slot资源

1. 在专家模式下，单击立刻获取，获取资源计划图。

2. 单击Slot框上的图标。生成的资源计划图中显示多个SLOT框，每个框内包含VERTEX算子信息及PARALLELISM值。

3. 修改Slot配置信息。对话框中可配置CPU、Heap Memory、Off-Heap Memory和并发数参数。

   此处设置的并发数为该Slot共享组内所有算子的统一并发数。设置完成后，系统将自动进行以下操作：

   • 系统将自动为该Slot共享组内的所有算子设置相同的并发数。

   • 系统会根据作业的计算逻辑按需自动生成Statebackend、Python和Operator所需的内存，无需您手动进行配置。

   说明

   在专家模式下，对话框中支持配置的内存仅为 Heap Memory 和 Off-Heap Memory。除此之外，JVM Overhead 等其他内存组件由系统按默认比例自动分配，并非按需动态申请。若默认比例导致内存不足（例如作业出现 Metaspace OOM 或 GC 开销过高），可在运行参数配置 > 其他配置中手动调整以下参数：

   • taskmanager.memory.jvm-overhead.fraction：JVM Overhead 占 TM 总内存的比例，默认值为0.1

   • taskmanager.memory.jvm-overhead.min：JVM Overhead 的最小值

   • taskmanager.memory.jvm-overhead.max：JVM Overhead 的最大值

   说明

   • 建议Source节点并发度和分区数成比例，即并发度数能整除分区数。例如Kafka有16个分区，则并发度建议设置为16、8或4，这样可以避免数据倾斜。同时Source节点的并发度不宜设置太小，避免一个Source需要读取太多数据，导致出现入口瓶颈，影响作业吞吐。

   • 建议按需配置除Source外的其他节点的并发度。流量大的节点，并发设置大一些；流量小的节点，并发设置小一些。

   • 建议在有明确异常或者需求时，再调整Heap Memory和Off-heap Memory的大小，例如作业出现OOM或严重GC等。因为在作业正常运行时，调整Heap Memory和Off-heap Memory的大小，不会明显改变作业的吞吐量。

4. 单击确定。

配置算子资源

默认情况下，所有算子都放在一个Slot共享组内，因此您无法为每个算子单独修改资源配置。如果您需要对单独的算子设置资源，需要开启多SSG模式后让每个算子有自己独立的Slot，这样就可以直接在对应的Slot上设置算子的资源。具体的算子资源设置步骤如下：

1. 在作业部署详情页签资源配置区域，单击编辑后，资源模式选择为专家模式。

2. （可选）如果暂无资源计划，单击立刻获取。

   生成的资源计划图中，默认所有算子位于同一个SLOT框内。

3. 打开多SSG模式开关后，单击重新生成。

   此时一个共享组内的算子被拆分为单个Slot。

4. 单击目标算子对应Slot框上的图标后，修改算子资源。

   修改SLOT对话框中可配置CPU、Heap Memory、Off-Heap Memory和并发数参数。

5. 单击确定。

配置算子并发、Chain策略和TTL

支持配置单个算子的并发数、Chaining策略和算子State过期时间（TTL）。

1. 单击目标VERTEX框上的展开VERTEX。

   展开后的VERTEX框内显示各个算子节点及其PARALLELISM值，每个算子旁有编辑图标。

   说明

   您可以单击目标VERTEX上的图标，批量设置对应VERTEX下的算子并发数。

2. 单击算子的图标。

3. 配置算子资源。

   参数说明如下：

   参数	说明
   并发数	对应算子的并发数。
   Chaining策略	Chain是指多个算子被连接在一起形成的逻辑计算链。它能够提高作业的执行效率和性能，减少数据在算子之间的传输和序列化开销。不过有时可能需要将Chain断开，以便更好地控制作业的执行流程和性能。支持配置策略如下： ALWAYS（默认值）：算子始终可以和上下游算子Chain一起。 HEAD：当前算子作为Chain的头节点，只和上游算子断开Chain，下游节点仍和当前算子Chain在一起。 NEVER：当前算子不会与上下游算子进行Chain。
   算子State过期时间设置（TTL）	支持设置秒、分钟、小时和天为单位的过期时间。默认为作业的过期时间（未设置过期时间的作业默认为1.5天，作业过期时间配置请参见运行参数配置）。 说明 仅实时计算引擎VVR 8.0.7及以上版本支持。 仅有状态算子支持配置过期时间。 State 过期时间为近似清理机制，系统不保证在 TTL 到期后立即清除过期数据。实际清理时间取决于后台的状态访问和清理策略。

4. 单击确定。