当您的数据库遇到高并发挑战或特定SQL语句资源消耗过高时,云数据库RDS PostgreSQL为您提供了SQL限流功能。该功能可以有效防止特定SQL语句导致的资源过度消耗,确保您的数据库系统稳定运行,更好地服务业务需求。
您可以加入RDS PostgreSQL插件交流钉钉群(103525002795),进行咨询、交流和反馈,获取更多关于插件的信息。
背景
SQL限流是一种重要的数据库管理技术,可以通过限制并发SQL数,从而避免过高的数据库负载,保证数据库的稳定性和可靠性,提高数据库的性能和效率,从而更好地支持业务需求。
应用场景
SQL限流的应用场景不仅限于高并发访问,还包括以下几个方面:
防止恶意攻击
通过限制某类SQL的并发数,防止恶意攻击或者DoS攻击,保护数据库的安全性。
控制资源使用
通过限制某类SQL的并发数,控制数据库资源的使用量,避免资源耗尽导致数据库崩溃或者性能下降。
例如在数据库备份、恢复、监控等SQL操作时,为了避免其对数据库性能的影响,可以使用SQL限流控制相关操作的速度。
前提条件
RDS PostgreSQL实例需满足以下要求:
实例大版本为PostgreSQL 14或以上。
实例内核小版本为20230330或以上。
使用此插件前,需配置如下参数:
说明 您可以前往控制台修改实例参数,更多信息,请参见设置实例参数。
影响
如果SQL限流配置不合理,可能影响业务,请在使用时根据业务负载进行配置。
例如,在某商城促销业务场景下,由于访问激增造成数据库压力较大,可使用此功能限制某类查询SQL的并发数,从而减轻数据库压力。但如果限流设置过小,也可能影响相关业务。
注意事项
如果在实例重启、主备切换等场景,SQL限流规则不会自动加载,需要手动重新加载。具体操作,请参见加载SQL限流规则。
使用示例
请使用高权限账号执行如下命令。
创建SQL限流规则
使用场景
该函数只能在主实例中调用,用于创建一个SQL限流规则。
语法
语法一:根据设置的SQL语句进行限流。
SELECT rds_add_ccl_rule(
query_string varchar,
node_tag int,
max_concurrency int,
max_waiting int,
is_enabled boolean,
comment varchar, -- 可选
search_path varchar -- 可选
);
语法二:根据设置的query_id进行限流。
SELECT rds_add_ccl_rule_with_query_id(
query_id bigint,
node_tag int,
max_concurrency int,
max_waiting int,
is_enabled boolean,
query_string varchar, -- 可选
comment varchar -- 可选
);
参数解释
参数 | 类型 | 说明 |
query_string | varchar | 需要限流的SQL语句。 配置时,使用$$ 或$<任意字符>$ 包裹限流SQL语句,更多信息,请参见Dollar-Quoted String Constants。 例如: -- 使用$$包裹SQL语句
$$SELECT * FROM my_table;$$
-- SQL语句中已存在$$,使用$ccl$包裹SQL语句
$ccl$SELECT * FROM my_table WHERE my_column = $$hello$$;$ccl$
该函数根据query_string取值计算query_id,再根据query_id匹配同类SQL进行限流。query_id的更多信息,请参见query_id简介。 |
query_id | bigint | 需要限流的SQL语句的query_id,更多信息,请参见query_id简介。 |
node_tag | int | 限流的节点。 1:仅限制主实例。 2:仅限制只读实例。 3:限制主实例和只读实例。
说明 创建SQL限流规则函数中,此参数仅表示规则可应用的范围,不会自动在只读实例中生效,您如果想要此规则在只读实例中发挥SQL限流作用,需要手动加载,具体操作,请参见加载SQL限流规则。 |
max_concurrency | int | 限制此类SQL的最大并发数。 取值范围:0~100000 |
max_waiting | int | 限制此类SQL的最大等待数,超过设置上限时,新的SQL会导致PostgreSQL内核触发ABORT,终止并回滚事务。 取值范围:0~100000 |
is_enabled | boolean | 该规则是否生效。 |
comment | varchar | 规则描述。 |
search_path | varchar | 目标限流SQL运行时的模式搜索路径(search_path),如果配置为空字符串('' ),将使用默认search_path,您可以使用SHOW search_path; 命令查询。 |
注意事项
SQL示例
在主实例的ccl_test数据库中,有数据表ccl_tbl,创建SQL限流规则:
对所有的SELECT * FROM ccl_tbl
语句(假设其query_id=1
)进行限流。
最多允许3条此类SQL并发执行。
最多允许2个此类SQL等待。
规则创建成功后立即生效。
语法一:
SELECT rds_add_ccl_rule(
$$SELECT * FROM ccl_tbl;$$, -- 待限流的SQL语句,使用$$包裹
1, -- 仅限制主实例
3, -- 最多允许3条此类SQL并发执行
2, -- 最多允许2个此类SQL等待
true, -- 规则立即生效
'limit constant select', -- 规则描述
'' -- 使用默认的search_path
);
语法二:
SELECT rds_add_ccl_rule_with_query_id(
1, -- 待限流的SQL语句的query_id
1, -- 仅限制主实例
3, -- 最多允许3条此类SQL并发执行
2, -- 最多允许2个此类SQL等待
true, -- 规则立即生效
'' -- SQL语句的文本,本示例不填写
'limit constant select', -- 规则描述
);
查询SQL限流规则
使用场景
该命令可以在主实例或只读实例中使用,用于查询已创建的SQL限流规则。
语法
使SQL限流规则生效
使用场景
该函数只能在主实例中调用,适用于以下场景:
语法
SELECT rds_enable_ccl_rule(ccl_id int);
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
注意事项
无
SQL示例
SELECT rds_enable_ccl_rule(1);
加载SQL限流规则
使用场景
该函数可以在主实例或只读实例中调用,用于加载SQL限流规则,只有被加载的规则才会发挥SQL限流作用。
适用于以下场景:
语法
SELECT rds_load_ccl_rule(ccl_id int);
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
注意事项
SQL示例
SELECT rds_enable_ccl_rule(1);
变更SQL限流规则
使用场景
该函数只能在主实例中调用,用于变更SQL限流规则中的最大并发数和最大等待数。
语法
SELECT rds_update_ccl_rule(
ccl_id int,
new_max_concurrency int,
new_max_waiting int
);
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
new_max_concurrency | int | 变更后最大并发数。 |
new_max_waiting | int | 变更后最大等待数。 |
注意事项
SQL示例
SELECT rds_update_ccl_rule(
2, -- ccl_id
4, -- 新的最大并发数为4
5 -- 新的最大等待数为5
);
使SQL限流规则失效
使用场景
该函数只能在主实例中调用,用于使某条SQL限流规则失效,该规则不再发挥SQL限流作用。
语法
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
注意事项
SQL示例
SELECT rds_disable_ccl_rule(1);
卸载SQL限流规则
使用场景
该函数可以在主实例或只读实例中调用,用于卸载SQL限流规则,被卸载的规则不会再发挥SQL限流作用。
适用于以下场景:
语法
SELECT rds_unload_ccl_rule(ccl_id int, db_name varchar default '');
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
db_name | varchar | 默认为空字符串,表示当前数据库。您也可以指定其他数据库,将其他数据库下的SQL限流规则卸载。 |
注意事项
规则卸载后,不再发挥SQL限流作用,如需再次使用,需要重新加载,更多信息,请参见加载SQL限流规则。
SQL示例
SELECT rds_unload_ccl_rule(1,'');
删除SQL限流规则
使用场景
该函数只能在主实例中调用,用于删除某条SQL限流规则。规则删除时,自动从主实例卸载。
语法
SELECT rds_del_ccl_rule(ccl_id int);
参数解释
参数 | 类型 | 说明 |
ccl_id | int | SQL限流规则ID,如何查询SQL限流规则ID,请参见查询SQL限流规则。 |
注意事项
无。
SQL示例
SELECT rds_del_ccl_rule(1);
返回结果:
rds_del_ccl_rule
----------------------
-7851264404688445170
(1 row)
说明 返回结果为query_id。
如果规则不存在,则删除报错。
附录
query_id简介
query_id是PostgreSQL中SQL的特殊标识,同类SQL的query_id相同。
例如:
-- 以下两个sql的query_id相同
SELECT * FROM tbl WHERE a = 1;
SELECT * FROM tbl WHERE a = 2;
query_id包含有SQL中对象的信息(即oid信息),不同数据库下的同名表不是同一个对象,不同schema下的同名表也不是同一个对象。所以相同的SQL,如果其包含的查询对象不同,那么query_id就不相同。
如果是SQL中的访问对象的是全局表,或是全局函数,query_id相同。
调用函数场景下,当参数类型变化或是有无FROM子句时,query_id会发生变化。
例如,同样调用pg_sleep
函数,不同情况下返回query_id
结果不同。
无FROM子句:
SELECT rds_get_query_id($$SELECT pg_sleep(1);$$);
返回结果:
rds_get_query_id
--------------------
440101247839410938
(1 row)
有FROM子句:
SELECT rds_get_query_id($$SELECT * FROM pg_sleep(1);$$);
返回结果:
rds_get_query_id
----------------------
-3404018605099167039
(1 row)
参数类型变化:
select rds_get_query_id($$SELECT * FROM pg_sleep(1.0);$$);
返回结果:
rds_get_query_id
---------------------
3073869725037049158
(1 row)