Session集群调优

更新时间:
复制为 MD 格式

前提条件

Apache Flink实时计算引擎支持使用Session集群调试SQL。

场景描述

开发人员需要调试大量的实时研发任务,但是任务执行很慢,由于Session集群中,多个任务共享Task Manager、Job Manager资源,同时运行任务时会出现资源不足的情况。

解决方案及功能

  1. 管理中心 > 系统设置 > 资源设置资源组配置页签,修改用于实时任务调试的自定义资源组的CPU和内存资源。

  2. Session集群页签,调整Session集群的Task Managers数量、Slot数量,Job Manager CPU Cores、Job Manager Memory、Task Manager CPU Cores、Task Manager Memory等信息。

    image

  3. 研发 > 数据研发 > 计算任务列表选择目标实时任务,单击右侧菜单栏的配置,在实时模式页签,调整分配给当前任务的Task Manager数量以及Task Manager、Job ManagerCPU和内存,加速任务的执行,但会消耗更多的资源,请结合业务合理分配。

    若某个任务配置的资源超出集群可调配的范围,则任务将提交失败。

    image