管理资源队列

每个Flink项目空间都会有一个默认队列(default-queue)来承载作业的运行。如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。

使用场景及方式

对于有资源隔离和管理需求的批作业场景,配置资源队列可以实现批作业资源的有效管理,避免单一任务或用户过度占用资源,造成其他任务或用户无法获得足够资源而任务失败的情况发生。同时,通过将批作业部署到指定资源队列,并配合任务编排功能确定调度优先级,可以确保关键或重要作业获得更高的处理优先级和更多的资源,从而提高系统性能和资源利用率。

您可以通过以下方式使用资源队列:

  • 部署作业时,部署目标选择为目标资源队列,详情请参见部署作业

    说明

    如果您没有添加新的资源队列,则默认会使用default-queue来部署并运行作业。

  • 创建Session集群时,部署目标选择为目标资源队列,详情请参见步骤一:创建Session集群

  • 创建工作流时设置目标资源队列,详情请参见管理工作流

使用限制

目前仅支持独享模式,暂不支持抢占模式。即资源队列的任务资源不会被抢占,使用完成释放资源后,对应的资源才可以被新的任务使用。

添加资源队列

说明

您可以通过添加资源队列来实现对资源的隔离和管理。不添加新的资源队列,则默认会使用default-queue来承载作业的运行。

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击添加队列

    image.png

  5. 填写队列名称资源量

  6. 配置

    说明

    队列名称

    队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。

    说明

    资源队列添加成功后,不可修改资源队列名称

    资源量(CU)

    允许配置的资源量上限由该项目空间剩余的可用资源量决定。如果项目空间可用资源量不足,则可以通过如下方式进行调整:

  7. 单击确定

修改资源量

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击编辑队列后,填写资源量

    说明
    • 修改资源队列时,资源量的填写说明请参见添加资源队列

    • 最小资源量不能小于当前队列已使用资源量。

  5. 单击确定

删除资源队列

重要
  • 不支持删除default-queue。

  • 如果队列上存在已部署且运行的作业时,则无法删除。

  • 队列删除后,已部署在该队列上的作业重新启动时会报错。

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击删除队列

  5. 单击确定

相关文档