管理资源队列

每个Flink项目空间都会有一个默认队列(default-queue)来承载作业的运行。如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。

使用场景及方式

对于有资源隔离和管理需求的批作业场景,配置资源队列可以实现批作业资源的有效管理,避免单一任务或用户过度占用资源,造成其他任务或用户无法获得足够资源而导致任务失败的情况发生。同时,通过将批作业部署到指定资源队列,并配合任务编排功能确定调度优先级,可以确保关键或重要作业获得更高的处理优先级和更多的资源,从而提高系统性能和资源利用率。

您可以通过以下方式使用资源队列:

  • 部署作业时,部署目标选择为目标资源队列,详情请参见部署作业

    说明

    如果您没有添加新的资源队列,则默认会使用default-queue来部署并运行作业。

  • 创建Session集群时,部署目标选择为目标资源队列,详情请参见步骤一:创建Session集群

  • 创建工作流时设置目标资源队列,详情请参见管理工作流

注意事项

目前仅支持独享模式,暂不支持抢占模式。即资源队列的任务资源不会被抢占,使用完成释放资源后,对应的资源才可以被新的任务使用。

添加资源队列

您可以通过添加资源队列来实现对资源的隔离和管理。不添加新的资源队列,则默认会使用default-queue来承载作业的运行。

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击添加队列,配置队列信息。

    未分配弹性资源的项目空间

    当工作空间为按量付费或包年包月,以及混合计费但未给该项目空间分配弹性资源时,可参考如下信息配置队列。

    配置

    说明

    队列名称

    队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。

    说明

    资源队列添加成功后,不可修改资源队列名称

    资源量(CU)

    允许配置的资源量上限由该项目空间剩余的可用资源量决定。如果项目空间可用资源量不足,则可以通过如下方式进行调整:

    已分配弹性资源的项目空间

    如果为混合计费工作空间,并已为该项目空间分配的弹性资源,可参考如下信息配置队列。

    配置

    说明

    队列名称

    队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。

    说明

    资源队列添加成功后,不可修改资源队列名称

    固定资源(CU)

    允许配置的固定资源上限。如果固定资源不足,可以进行调整(与包年包月资源调整操作相同),详情请参见包年包月资源调整

    弹性资源(CU)

    允许配置的弹性资源上限,您可以在队列管理页面查看可以分配的弹性资源数,如果不足,可以进行调整(与按量付费资源调整操作相同),详情请参见按量付费资源调整

  5. 单击确定

修改资源量

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击编辑队列后,填写资源量。填写参数说明详情请参见添加资源队列

    说明

    最小资源量不能小于当前队列已使用资源量。

  5. 单击确定

删除资源队列

重要
  • 不支持删除default-queue。

  • 如果队列上存在已部署且运行的作业时,则无法删除。

  • 队列删除后,已部署在该队列上的作业重新启动时会报错。

  1. 登录实时计算管理控制台

  2. 单击目标工作空间操作列下的控制台

  3. 在左侧导航栏,单击运维中心 > 队列管理

  4. 单击删除队列,单击确定

相关文档