文档

管理资源队列

更新时间:

每个Flink项目空间都会有一个默认队列(default-queue)来承载作业的运行。如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。

使用场景及方式

适用于有资源隔离和管理需求的场景。配置资源队列可以避免某个任务或用户占用过多的资源,降低因其他任务或用户无法获得足够的资源而造成任务失败的情况发生。您也可以将批作业部署到指定资源队列,并配合任务编排功能确定调度优先级,以确保关键或重要作业获得更高的处理优先级和更多的资源,从而提高系统性能和资源利用率。

您可以通过以下方式使用资源队列:

  • 部署作业时,部署目标选择为目标资源队列,详情请参见部署作业

    说明

    如果您没有添加新的资源队列,则默认会使用default-queue来部署并运行作业。

  • 创建Session集群时,部署目标选择为目标资源队列,详情请参见步骤一:创建Session集群

  • 创建工作流时设置目标资源队列,详情请参见管理工作流

使用限制

目前仅支持独享模式,暂不支持抢占模式。即资源队列的任务资源不会被抢占,使用完成释放资源后,对应的资源才可以被新的任务使用。

添加资源队列

说明

您可以通过添加资源队列来实现对资源的隔离和管理。不添加新的资源队列,则默认会使用default-queue来承载作业的运行。

  1. 登录实时计算控制台

  2. 在左侧导航栏,单击队列管理

  3. 单击添加队列

    image.png

  4. 填写队列名称资源量

  5. 配置

    说明

    队列名称

    队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。

    说明

    资源队列添加成功后,不可修改资源队列名称

    资源量(CU)

    允许配置的资源量上限由该项目空间剩余的可用资源量决定。如果项目空间可用资源量不足,则可以通过如下方式进行调整:

  6. 单击确定

修改资源量

  1. 登录实时计算控制台

  2. 在左侧导航栏,单击队列管理

  3. 单击编辑队列后,填写资源量

    说明
    • 修改资源队列时,资源量的填写说明请参见添加资源队列

    • 最小资源量不能小于当前队列已使用资源量。

  4. 单击确定

删除资源队列

重要
  • 不支持删除default-queue。

  • 如果队列上存在已部署且运行的作业时,则无法删除。

  • 队列删除后,已部署在该队列上的作业重新启动时会报错。

  1. 登录实时计算控制台

  2. 在左侧导航栏,单击队列管理

  3. 单击删除队列

  4. 单击确定

相关文档