实时任务调优

更新时间:
复制为 MD 格式

场景描述

开发人员需要运行大量的实时研发任务,但时常面临资源等待。

解决方案及功能

  • 方案①:若集群为Apache Flink或阿里云实时计算Flink,可通过集群配置文件调整或在控制台(仅支持阿里云实时计算Flink)进行调整。

  • 方案②:若Dataphin的部署方式为Flink on K8s,可在Dataphin系统中修改资源配置。

    1. 管理中心 > 系统设置 > 资源设置资源组配置页签,修改用于实时任务的自定义资源组的CPU和内存资源。

      image

    2. 研发 > 数据研发 > 计算任务列表选择目标实时任务,单击右侧菜单栏的配置,在实时模式页签,调整分配给当前任务的Task Manager数量以及Task Manager、Job ManagerCPU和内存,加速任务的执行,但会消耗更多的资源,请结合业务合理分配。

    3. 实时模式页签,调整任务的并行度(将一个任务切分为多个可并行执行的子任务),可充分利用集群的计算资源,加速任务的执行。

      image