使用Resource Queue（资源队列）进行负载管理

Resource Queue介绍

数据库实例的CPU和内存资源是有限的，这些资源对查询性能有直接影响。当数据库负载达到一定程度时，各个查询会竞争这些资源，从而导致整体查询性能下降。对于延迟敏感的业务来说，这种性能下降是无法容忍的。

云原生数据仓库 AnalyticDB PostgreSQL 版提供了系统资源负载管理工具Resource Queue。通过该工具，您可以根据业务需求设置数据库的并发查询数、每个查询的内存大小以及可用的CPU资源。这样可以确保在执行查询时，系统资源按预期分配，从而保证查询性能符合预期。

权限要求

创建和使用Resource Queue需要使用初始账号或高权限用户RDS_SUPERUSER。

创建Resource Queue

创建Resource Queue语法如下。

CREATE RESOURCE QUEUE name WITH (queue_attribute=value [, ... ])

其中queue_attribute为Resource Queue的属性，可以取如下值：

    ACTIVE_STATEMENTS=integer
        [ MAX_COST=float [COST_OVERCOMMIT={TRUE|FALSE}] ]
        [ MIN_COST=float ]
        [ PRIORITY={MIN|LOW|MEDIUM|HIGH|MAX} ]
        [ MEMORY_LIMIT='memory_units' ]

    MAX_COST=float [ COST_OVERCOMMIT={TRUE|FALSE} ]
        [ ACTIVE_STATEMENTS=integer ]
        [ MIN_COST=float ]
        [ PRIORITY={MIN|LOW|MEDIUM|HIGH|MAX} ]
        [ MEMORY_LIMIT='memory_units' ]

CREATE RESOURCE QUEUE adhoc2 WITH (MEMORY_LIMIT='2000MB');
ERROR:  at least one threshold ("ACTIVE_STATEMENTS", "MAX_COST") must be specified

• 指定并发查询数量

  在创建Resource Queue时，使用如下语法指定Resource Queue里用户可以并发执行的查询数量。

  CREATE RESOURCE QUEUE adhoc WITH (ACTIVE_STATEMENTS=3);

  这里创建了一个名为adhoc的Resource Queue，这个Resource Queue的用户在指定时间点，最多执行3个查询操作。如果此时队列中执行的查询数量为3个，同时有新的查询进入，那么新的查询将会处于等待状态，直到前面的查询执行完毕。

• 指定使用的内存上限。

  在创建Resource Queue时，使用如下语法指定Resource Queue里查询使用的内存上限。

  CREATE RESOURCE QUEUE myqueue WITH (ACTIVE_STATEMENTS=20, MEMORY_LIMIT='2000MB');

  这里创建了一个名为myqueue的Resource Queue，在这个Resource Queue中，所有查询最多能用2000MB的内存。执行查询时，会在计算节点（segment）占用MEMORY_LIMIT或ACTIVE_STATEMENTS的内存，对于myqueue来说每个查询会占用2000MB/20=100MB的内存。如果查询需要单独可用内存，可以使用系统参数statement_mem来设置，但是需要保证不超过Resource Queue设定的MEMORY_LIMIT和系统参数max_statement_mem。示例如下：

  SET statement_mem='1GB';
  SELECT * FROM test_adbpg WHERE col='adb4pg' ORDER BY id;
  RESET statement_mem;

• 设置队列优先级。

  给不同的Resource Queue设置优先级可以控制Resource Queue中的查询对CPU资源的使用。例如，系统中有大规模并发查询时，高优先级Resource Queue中的查询会比低优先级Resource Queue中的查询使用更多的CPU资源，从而保证高优先级的查询有更充分的CPU资源来执行。

  Resource Queue优先级的设置可以在创建时设置，示例如下：

  CREATE RESOURCE QUEUE executive WITH (ACTIVE_STATEMENTS=3, PRIORITY=MAX);

  Resource Queue优先级也可以在创建完成之后进行修改，具体操作请参见修改Resource Queue的配置。

  说明

  优先级与ACTIVE_STATEMENTS/MEMORY_LIMIT的区别：

  • ACTIVE_STATEMENTS/MEMORY_LIMIT会在查询执行之前判断其是否允许被执行。

  • 优先级机制是在一个查询开始执行后，根据系统的运行状态以及其所在队列的优先级，动态地给这个对应的查询分配可用的CPU资源。

  例如，云原生数据仓库 AnalyticDB PostgreSQL 版正在执行一些低优先级的查询时，有一个高优先级的查询进入并准备执行。那么云原生数据仓库 AnalyticDB PostgreSQL 版会为这个查询分配更多的CPU资源，并减少低优先级查询的CPU资源。CPU资源分配的规则如下：

  • 相同优先级的查询所能被分配到的CPU资源一致。

  • 当系统中同时有高、中、低三个优先级别的查询的时候，高优先级的查询会分配得到系统90%的CPU资源，剩下的10%会留给中和低优先级的查询分配，在这10%的系统CPU资源中，中优先级的查询会得到其中90%的CPU资源，低优先级查询则得到剩余的10%。

Resource Queue被创建完毕之后，可以在pg_resqueue中查看限制设置和当前资源队列的状态。

SELECT * FROM pg_resqueue WHERE rsqname='adhoc';

Resource Queue的创建不能在事务块内进行，如下所示：

BEGIN
CREATE RESOURCE QUEUE test_q WITH (ACTIVE_STATEMENTS=3, PRIORITY=MAX);
ERROR:  CREATE RESOURCE QUEUE cannot run inside a transaction block

分配用户到Resource Queue

创建Resource Queue完成后，需要将一个或多个用户分配给这个Resource Queue，完成分配后Resource Queue就会对队列中用户的查询进行资源管理。

将用户分配给指定Resource Queue，语法如下：

ALTER ROLE name RESOURCE QUEUE queue_name;
CREATE ROLE name WITH LOGIN RESOURCE QUEUE queue_name;

您可以在用户创建之后修改其所属的Resource Queue，也可以在用户创建之时为其指定Resource Queue。

删除Resource Queue中的用户

使用如下语法移除某个role指定的Resource Queue。

ALTER ROLE role_name RESOURCE QUEUE none;

修改Resource Queue的配置

您可以使用如下语句对Resource Queue的资源配置进行修改。

• 修改活跃的查询数。

  ALTER RESOURCE QUEUE adhoc WITH (ACTIVE_STATEMENTS=5);

• 修改Resource Queue内存和查询代价约束。

  ALTER RESOURCE QUEUE adhoc WITH (MAX_COST=-1.0, MEMORY_LIMIT='2GB');

• 修改Resource Queue优先级。

  ALTER RESOURCE QUEUE adhoc WITH (PRIORITY=LOW);
  ALTER RESOURCE QUEUE reporting WITH (PRIORITY=HIGH);

删除Resource Queue

您可以使用如下语句删除Resource Queue。

DROP RESOURCE QUEUE name;

常见报错

ALTER ROLE role_name WITH RDS_SUPERUSER;