管理资源队列

更新时间:
复制 MD 格式

每个工作空间都会默认包含dev_queue和root_queue两个队列,用于承载任务的运行。如果您有资源隔离和管理的需求,可以通过添加队列的方式实现。本文为您介绍队列的基本操作。

前提条件

已创建工作空间,详情请参见管理工作空间。

添加队列

说明

您可以通过添加队列来实现对资源的隔离和管理。如果不添加新的资源队列,您可以使用默认提供的dev_queue和root_queue来承载任务的运行。如果购买了包年包月配额,则系统将默认生成一个subscription_queue队列。

  1. 进入资源管理页面。

    1. 登录E-MapReduce控制台。

    2. 在左侧导航栏,选择EMR Serverless > Spark。

    3. 在Spark页面,单击目标工作空间名称。

    4. 在EMR Serverless Spark页面,单击左侧导航栏中的资源管理。

  2. 根据待添加队列的类型,选择CPU或GPU标签页,然后在队列资源页签,单击添加队列。

  3. 在添加队列对话框中,根据队列类型设置以下参数,然后单击确定。

    CPU

    在CPU标签页下,根据工作空间的付费类型,设置以下参数。

    按量付费

    参数

    说明

    队列名称

    队列名称不允许重复。

    说明

    队列添加成功后,不可修改队列名称。

    弹性并发上限(CU)

    队列可同时运行的计算单元(CU)数量上限。根据会话实例的配置信息,至少将选定的部署队列的并发上限设置为3 CU。

    所有队列的弹性并发上限之和不能超过工作空间的按量配额上限。如果按量配额资源不足,请先调整工作空间的按量配额上限,详情请参见编辑按量配额上限。

    如需调整其他队列并发上限,详情请参见编辑队列。

    应用环境

    • 开发:开发者编写、测试和调试代码的地方,通常包括IDE(集成开发环境)、版本控制系统和各类调试工具,用于开发者进行软件的构建与调试。

    • 生产:供用户使用的实际运行环境,提供稳定、高效和安全的服务。

    支持同时选择开发和生产,表示该队列供开发与生产环境共用。

    描述

    队列的备注信息,长度限制为256个字符。

    包年包月

    参数

    说明

    队列名称

    队列名称不允许重复。

    说明

    队列添加成功后,不可修改队列名称。

    固定资源量(CU)

    允许配置的资源量上限由当前工作空间剩余的包年包月配额决定。如果工作空间包年包月配额剩余量不足,则可以通过如下方式进行调整:

    应用环境

    • 开发:开发者编写、测试和调试代码的地方,通常包括IDE(集成开发环境)、版本控制系统和各类调试工具,用于开发者进行软件的构建与调试。

    • 生产:供用户使用的实际运行环境,提供稳定、高效和安全的服务。

    混合计费

    参数

    说明

    队列名称

    队列名称不允许重复。

    说明

    队列添加成功后,不可修改队列名称。

    弹性并发上限(CU)

    队列可同时运行的计算单元(CU)数量上限。根据会话实例的配置信息,至少将选定的部署队列的并发上限设置为3 CU。

    如需调整其他队列并发上限,详情请参见编辑队列。

    固定资源量(CU)

    允许配置的资源量上限由当前工作空间剩余的包年包月配额决定。如果工作空间包年包月配额剩余量不足,则可以通过如下方式进行调整:

    调整其他队列资源量,详情请参见编辑队列。

    应用环境

    • 开发:开发者编写、测试和调试代码的地方,通常包括IDE(集成开发环境)、版本控制系统和各类调试工具,用于开发者进行软件的构建与调试。

    • 生产:供用户使用的实际运行环境,提供稳定、高效和安全的服务。

    GPU

    切换到GPU标签页后,设置以下参数。首次购买GPU包年包月配额后,系统将默认生成一个gpu_<规格>_queue队列;首次添加GPU按量付费配额时,会按照卡数1:4默认初始化gpu_dev_queue、gpu_root_queue两个队列。

    参数

    说明

    队列名称

    队列名称不允许重复。

    说明

    队列添加成功后,不可修改队列名称。

    付费类型

    按量付费、包年包月。

    GPU(卡数)并发上限

    队列同时处理任务的最大并发GPU卡数。

    实例规格

    默认开启限制实例规格,开启后仅支持使用选择范围内的GPU规格。

    应用环境

    • 开发:开发者编写、测试和调试代码的地方,通常包括IDE(集成开发环境)、版本控制系统和各类调试工具,用于开发者进行软件的构建与调试。

    • 生产:供用户使用的实际运行环境,提供稳定、高效和安全的服务。

    支持同时选择开发和生产,表示该队列供开发与生产环境共用。

    描述

    队列备注信息。

编辑队列

CPU

在CPU标签页下,单击目标队列操作列的编辑队列。在编辑队列的资源页签中,除了调整队列资源配置,您还可以修改应用环境和描述,队列名称不可修改。根据工作空间的付费类型,资源配置项如下。

按量付费

  1. 在资源管理的队列资源页签,单击目标队列操作列的编辑队列。

  2. 在编辑队列的资源页签,调整弹性并发上限(CU)。

  3. 调整后,单击确定。

包年包月

  1. 在资源管理的队列资源页签,单击目标队列操作列的编辑队列。

  2. 在编辑队列的资源页签,您可以调整固定资源量(CU)。

  3. 调整后,单击确定。

混合计费

  1. 在资源管理的队列资源页签,单击目标队列操作列的编辑队列。

  2. 在编辑队列的资源页签,您可以调整固定资源量(CU)、弹性并发上限(CU)。

  3. 调整后,单击确定。

GPU

切换到GPU标签页,单击目标队列操作列的编辑队列,在编辑队列的资源页签中,可以调整GPU(卡数)并发上限和实例规格,还可以修改应用环境和描述(队列名称不可修改)。

说明

GPU队列编辑规则如下:

  • 卡数:调整后的卡数必须大于或等于已使用的GPU卡数。

  • 实例规格:仅支持新增规格,不支持减少规格。

编辑队列权限

  1. 在资源管理的队列资源页签,单击目标队列操作列的编辑队列。

  2. 在编辑权限对话框中,单击权限页签。

  3. 您可以添加、修改或移除用户及其权限。

  4. 单击确定。

删除队列

重要
  • 不支持删除root_queue。

  • 在删除资源队列之前,请务必确保该工作空间内没有与此队列相关联的任务,否则会对该工作空间内所有相关联的任务产生影响。

  1. 根据目标队列的类型,选择CPU或GPU标签页,然后在队列资源页签,单击目标队列操作列的删除。

  2. 在删除队列对话框中,单击删除队列。

相关文档