SQL限流

简介

SQL限流功能允许以连接地址为维度配置限流规则，通过SQL模板的方式匹配当前连接地址上执行的SQL并限制其最大并发数或QPS。可被用于以下场景：

• PolarDB集群上存在慢SQL导致数据库负载较高，影响正常业务执行。

• 希望对某一类风险SQL限制其可使用的资源，或完全拒绝其执行。

操作步骤

1. 登录PolarDB控制台。

2. 在左侧导航栏单击集群列表。

3. 在左上角，选择集群所在地域。

4. 找到目标集群，单击集群ID。

5. 在左侧导航栏单击配置与管理 > 安全管理。

6. 在SQL限流页签，点击新增，新建SQL限流规则。

   

7. 在新建SQL限流规则弹窗内设置如下配置项后，单击确定。

   类别	参数	说明
   基本信息	规则名称	限流规则的名称，需满足如下要求： 不能超过30个字符。 必须由大小写字母和数字组成。
   	规则描述	可选，用于备注该限流规则的相关信息，便于后续管理。不能超过64个字符。
   	EndpointID	选择限流规则作用的连接地址。 说明 当前仅支持在集群地址和按活跃请求数负载均衡的自定义地址（读写或只读均可）上配置限流规则，主地址以及按连接数负载均衡的只读地址暂时不支持SQL限流。 不同地址上配置的限流规则互不影响，同一地址上配置的限流规则仅对使用该地址的业务连接生效。
   规则配置	规则类型	选择限流规则模式，支持活跃并发数限流和连接级QPS限流。 说明 按连接级QPS限流为限制单个连接的每秒请求次数，可用于业务侧配置连接池或使用长连接的场景，短连接场景下建议使用活跃并发数限流。
   	当前模式	选择SQL模板的匹配方式，支持模板匹配和全文匹配，两种匹配方式的区别请参考模板匹配与全文匹配。
   	数据库账号名	配置限流规则作用的账号，支持配置多个账号，但不超过10个，账号名称之间使用英文逗号分隔。为空时，默认对所有账号生效。
   	数据库名	配置限流规则作用的数据库。支持配置多个数据库，但不超过10个，数据库名称之间使用英文逗号分隔。为空时，默认对所有数据库生效。
   	SQL模板	配置SQL模板，详细配置请参考SQL模板与匹配模式。
   	最长等待队列长度	配置最长等待队列长度，取值范围为0-1024。当命中的SQL并发度或QPS达到规则限制时将会进入延迟队列进行重试，当延迟队列中等待的SQL数量超过最长等待队列长度时新的请求将会直接返回错误。合理配置最长等待队列长度可避免大量SQL被限流时延迟队列无限制增长导致数据库代理内存耗尽（OOM）。
   	最大活跃并发数	设置最大活跃并发数。 说明 仅选择活跃并发数限流规则类型时，需要配置该参数。
   	每连接最大QPS	设置每连接最大QPS。 说明 仅选择连接级QPS限流规则类型时，需要配置该参数。

实现方式

SQL限流为数据库代理侧实现的功能，通过在数据库代理上配置各种限流规则以控制转发的特定SQL的并发数或QPS，对数据库集群的读写或只读节点不会带来额外影响，因此仅支持以集群或自定义地址为维度进行配置。

SQL模板与匹配模式

模板匹配与全文匹配

SQL模板可以是任何符合PolarDB PostgreSQL版（兼容Oracle）集群标准语法的SQL，当配置SQL模板后根据配置的匹配模式不同，数据库代理会对SQL模板进行不同的预处理。

• 假设配置了一条限流规则并配置了以下SQL模板：

  SELECT * FROM tbl WHERE id < 1;

  • 当选择模板匹配时，会对SQL模板进行简单正则化，去除多余空格、注释，并扫描SQL中的常量部分（单引号字符串、数字等）替换为通配符，得到如下结果：

    -- 模板化结果
    SELECT * FROM tbl WHERE id < ?

  • 当选择全文匹配时，也会对SQL模板进行简单正则化，但不会替换其中的常量部分，结果如下所示：

    -- 仅格式化结果
    SELECT * FROM tbl WHERE id < 1

  之后数据库代理会对生成的格式化SQL生成唯一标识用于后续匹配。

• 当限流规则启用后，对于每条经过的业务SQL，数据库代理也会进行和SQL模板类似的预处理。以以下业务SQL为例：

  SELECT * FROM tbl WHERE id < 100;

  同样会生成两种格式化的SQL并计算唯一标识，并尝试与限流规则进行匹配：

  -- 模板化结果
  SELECT * FROM tbl WHERE id < ?
  
  -- 仅格式化结果
  SELECT * FROM tbl WHERE id < 100

启用SQL限流规则后在转发当前SQL前，数据库代理会遍历当前配置的限流规则，当限流规则配置为模板匹配时会使用模板化结果与限流规则配置的SQL模板进行匹配，当限流规则配置为全文匹配时会使用仅格式化结果与限流规则配置的SQL模板匹配，匹配命中后会统计其并发度或QPS并执行对应的限流操作。

因此，对于上述的业务SQL和SQL模板，仅当配置为模板匹配时才会命中规则。

参数化支持

SQL模板中允许使用参数化写法，与正常PostgreSQL参数绑定语法一致：

SELECT * FROM tbl WHERE id < $1 AND name = $2 LIMIT 1;

其中，参数化部分在模板匹配和全文匹配中均会被格式化为通配符：

-- 模板化结果
SELECT * FROM tbl WHERE id < ? AND name = ? limit ?

-- 仅格式化结果
SELECT * FROM tbl WHERE id < ? AND name = ? limit 1

因此对于以下业务SQL：

SELECT * FROM tbl WHERE id < $1 AND name = 2 LIMIT 100;

当前模式配置为模板匹配时可以命中上述规则，当前模式为全文匹配时无法命中上述规则。

-- 非法的SQL模板，不符合PostgreSQL标准语法，不会命中任何SQL
SELECT ?, ?, ?;

-- 合法的SQL模版
SELECT $1, $2, $3;

Prepared Statment

当业务使用Prepared statement时，Prepare语句本身不会触发限流，只有Execute语句会触发限流。对于Execute语句会对其对应的Prepare语句中的SQL部分进行对应的格式化或模板化并匹配规则。

示例

使用以下SQL模板配置一条限流规则， 匹配模式选择模板匹配：

SELECT * FROM tbl WHERE id < $1 AND name > $2;

对于以下业务SQL：

-- prepare语句不会触发限流
PREPARE s1 AS SELECT * FROM tbl WHERE id < $1 AND name > 100;

-- execute语句会用其对应的prepare语句中的sql部分匹配限流规则
EXECUTE s1;

EXECUTE s1;

EXECUTE s1;

三条Execute将会命中限流规则并被限流。

同样地，当在限流规则的SQL模板中使用Prepare语句时，也仅会对Prepare语句中的SQL部分进行必要的格式化或模板化用于后续限流，因此创建规则时使用以下两条SQL模板完全等价：

-- 模板1
PREPARE s1 AS SELECT * FROM tbl WHERE id < $1 AND name > $2;

-- 模板2
SELECT * FROM tbl WHERE id < $1 AND name > $2;

扩展协议支持

与Prepare语句类似，当业务驱动使用扩展协议时，仅有Execute报文会触发限流。对每个Execute报文会找到其对应的Parse报文并计算SQL模板匹配限流规则。因此SQL限流可以支持扩展协议，配置时通常无需额外关注业务使用的协议。

使用限制

目前SQL限流功能存在以下受限的使用场景：

• 多语句（Multi-Statement）暂不支持限流，使用多语句时将不会触发任何配置的限流规则。

  多语句指在一条SQL文本中包含多个使用分号间隔的SQL语句，以下是一个使用JDBC驱动执行的多语句示例：

  Statement statement = connection.createStatement();
  
  statement.execute("select 1; select 2; select 3");

  多语句可能同时命中多条限流规则，为避免非预期的结果暂不支持限流。

• 部分特殊语句，如事务控制语句、存储过程等不支持限流。对如Commit类的事务控制语句限流会导致事务无法正常结束，因此不会命中限流规则。

• 当客户端或驱动使用批量执行（Statement Batching）模式时，批量执行的SQL仅会触发第一条命中的限流规则。以下是一个使用JDBC驱动的批量执行的示例：

  Statement statement = connection.createStatement();
  
  statement.addBatch("select 1");
  statement.addBatch("select 2");
  statement.addBatch("select 3");
  
  int[] result = statement.executeBatch();
  statement.close();
  connection.close();

  与多语句类似，使用Statement Batching时驱动通常会将多条SQL的扩展协议报文组合并一次性发送，同样会形成类似多语句的同时命中多条限流规则的情况。此时仅会启用命中的第一条限流规则。对于上述的批量执行示例，当连接地址上同时配置以下三条SQL模板的限流规则时：

  -- 模板1
  SELECT 1；
  
  -- 模板2
  SELECT 2；
  
  --模板3
  SELECT 3；

  仅有模板1会命中。

• SQL模板暂时不支持对关键字忽略大小写，配置SQL模板时需要与期望限流的SQL文本大小写一致。

• SQL模板暂不支持对in/any等不定长表达式进行忽略元素个数的模板化。例如：

  -- SQL模版
  SELECT * FROM tbl WHERE id IN ($1, $2, $3);
  
  -- SQL1，可以命中模版
  SELECT * FROM tbl WHERE id IN (1, 6, 8);
  
  -- SQL2，无法命中模版
  SELECT * FROM tbl WHERE id IN (1, 6, 8, 8);

• 当前不存在任何已配置的限流规则时，初次添加规则时无法对存量连接生效。在控制台存在任何已配置的限流规则时（无论是否启用），后续的新增、修改、删除操作均可实时对所有连接生效。

  说明

  当您的业务启用长连接并期望任何时刻新增规则都可以立即生效时，建议在对应地址上配置一条任意的规则禁用后保留，后续增加或修改规则均可对新老连接生效。

限流方式

目前SQL限流使用SQL模板加延迟队列的技术实现QPS或活跃并发数限流。业务SQL必须命中限流规则后才会统计对应规则上的QPS或并发数。当并发数或QPS超过规则配置的限制时，数据库代理会将该SQL放入延迟队列中延迟一段时间后重试，从而维持数据库侧的并发度/QPS不超过规则限制。

延迟队列的延迟时间与规则配置的QPS/并发数成反比。同时命中某条规则的SQL在延迟队列中等待的最大数量受规则中配置的最长等待队列长度限制，超出限制时代理将不会转发该SQL，同时向客户端返回以下错误：

SELECT 123;
Current query is being throttled and waiting queue is full.

同时，当配置的SQL限流规则中最大活跃并发数或每连接最大QPS为0时，任何命中该规则的SQL都会被拒绝转发并直接向客户端返回上述错误，可以使用该方式完全拒绝一类SQL的执行。

最佳实践

SELECT * FROM generate_series(1, 100000);