Redis Proxy特性说明

云数据库 Tair(兼容 Redis)集群架构和读写分离架构中,代理服务器(Proxy)承担着路由转发、负载均衡和故障转移等职责,可以帮助您简化客户端的逻辑,同时支持多数据库(DB)、缓存热点数据等高级功能。通过了解Proxy的路由转发规则和特定命令的处理方式,有助于您设计更高效的业务系统。

Proxy介绍

图 1. 集群和读写分离架构图集群和读写分离架构图

代理服务器(Proxy)是Redis实例中的一个组件(单节点架构),不会占用数据分片的资源,通过多个Proxy节点实现负载均衡及故障转移。

Proxy能力

说明

集群版使用模式转换

Proxy能够实现架构转换,帮助您如同在使用标准架构一样地使用集群架构。Proxy支持对DELEXISTSMGETMSETSDIFFUNLINK等命令进行跨Slot的多Key操作,更多信息请参见代理模式(Proxy)支持的命令列表

当标准架构无法支撑业务发展时,您无需修改代码即可将标准架构的数据迁移至带有Proxy的集群架构,大幅度降低业务改造成本。

负载均衡和路由转发

Proxy与后端的数据分片建立长连接,负责请求负载均衡和路由转发操作,关于转发规则的介绍,请参见Proxy的路由转发规则

管理只读节点流量

Proxy会实时探测只读节点的状态,当出现下述情况时,Proxy会执行流量管控动作:

  • 只读节点处于异常状态:Proxy会降低该节点的服务权重,如果多次无法连接该节点,Proxy会停止该节点的服务(即不再将流量转发至该节点),待该异常被修复后重新启用该节点。

  • 只读节点处于全量同步状态:Proxy会暂时停止该节点的服务,直到该节点完成全量同步。

缓存热点Key信息

开启代理查询缓存功能(Proxy Query Cache)后,Proxy会缓存热点Key对应的请求和返回信息,当在有效时间内收到同样的请求时直接返回结果至客户端,无需和后端的数据分片交互,可更好地改善对热点Key的发起大量读请求导致的访问倾斜。更多信息,请参见通过Proxy Query Cache优化热点Key问题

说明

Tair内存型、持久内存型实例支持该功能。

支持多数据库(DB)

集群模式下,原生Redis和Cluster client均不支持多数据库(DB)功能,只使用默认的0号数据库,也不支持SELECT命令。但您可以通过Proxy访问集群实例,支持多数据库(DB)功能,支持使用SELECT命令,集群版实例默认为256个DB。

说明

若您使用StackExchange.Redis客户端,请使用StackExchange.Redis 2.7.20及以上版本,否则会产生报错,更多信息请参见StackExchange.Redis升级公告

说明

由于Proxy的演进,Proxy的个数并不完全代表Proxy处理能力,阿里云会保证集群规格中Proxy的配比符合规格说明的要求。

Proxy的路由转发规则

说明

关于各类命令的介绍,请参见Redis命令概览

架构

转发规则

说明

集群架构

基础转发规则

  • 对于操作单个Key的命令,Proxy会根据Key所属的Slot(槽)将请求发送给所属的数据分片。

  • 对于操作多个Key的命令,如果这些Key是储存在不同的数据分片,Proxy会将命令拆分成多个命令分别发送给对应的分片。

特定命令转发规则

  • 发布订阅类命令

    对于PUBLISHSUBSCRIBE等发布订阅命令,Proxy会根据channel name进行Hash计算,并分片至对应数据分片。

    说明

    您可以在控制台的性能监控页面选择数据节点,然后将自定义监控项设置为Pub/Sub监控组,即可查看各数据分片(默认展示第一个数据分片)中发布与订阅(Pub/Sub)相关命令的监控信息。具体操作,请参见查看性能监控

  • 阿里云自研的命令

    使用阿里云自研的命令(例如IINFOISCAN等)时,如果通过idx参数指定了数据分片ID,Proxy会将这些命令发送到指定的数据分片。更多信息,请参见阿里云自研的Proxy命令

读写分离架构

基础转发规则

  • 写请求:Proxy将其直接转发到主节点(Master)。

  • 读请求:Proxy将读请求平均分配到主节点和只读节点,暂不支持自定义控制。例如拥有3个只读节点的实例,主节点和3个只读的读权重均为25%。

    说明

    SLOWLOGDBSIZE也属于读命令。

特定命令转发规则

  • SCAN类命令

    当您执行HSCANSSCANZSCAN命令时,Proxy会先计算Key所属的Slot,并对主节点和所有只读节点进行取模计算,将请求发送至对应节点。

  • 阿里云自研的命令

    使用阿里云自研的命令(例如RIINFORIMONITOR等)时,可通过ro_slave_idx参数指定该命令要转发到的只读节点,通过idx参数指定该命令要转发到的数据分片。更多信息,请参见阿里云自研的Proxy命令

  • 其他命令

    Proxy会将事务命令(MULTIEXEC)、Lua脚本命令 (EVALEVALSHA)、SCANINFO、发布订阅命令(PUBLISHSUBSCRIBE等)转发至主节点。

连接数使用说明

通常情况下,Proxy通过与数据分片建立长连接来处理请求。当请求中包含以下命令时,Proxy会根据命令的处理需求在相应的数据分片上创建额外的连接,此时连接无法聚合,实例的最大连接数和每秒新建连接数都会受到数据节点单个分片的限制(单个分片的限制请参见具体的实例规格)。您需要合理使用下述命令,避免连接数超限。

说明

代理模式下,Redis社区版实例每个数据分片的连接数上限为10,000,Tair(企业版)实例每个数据分片的连接数上限为30,000。

  • 阻塞类命令:BRPOPBRPOPLPUSHBLPOPBZPOPMAXBZPOPMINBLMOVEBLMPOPBZMPOP

  • 事务类命令:MULTIEXECWATCH

  • MONITOR类命令:MONITORIMONITORRIMONITOR

  • 订阅命令:SUBSCRIBEUNSUBSCRIBEPSUBSCRIBEPUNSUBSCRIBESSUBSCRIBESUNSUBSCRIBE

常见问题

  • Q:是否支持将只进行读操作的Lua脚本转发至只读节点吗?

    A:支持,但需要满足以下条件。

    • 使用只读账号,更多信息请参见创建与管理账号

    • 将实例的readonly_lua_route_ronode_enable参数的值设置为1,即仅包含读操作的Lua脚本会被转发到只读副本处理。具体操作,请参见设置实例参数

  • Q:代理(Proxy)模式和直连模式有什么区别,推荐使用什么模式?

    A:推荐使用代理模式,介绍与区别如下:

    • 代理模式:客户端的请求由代理节点转发至数据分片,可享受代理节点带来的负载均衡、读写分离、故障转移、代理查询缓存、长连接等特性能力。

    • 直连模式:可通过直连地址绕过代理,直接访问后端的数据分片(类似连接原生Redis集群)。相比代理模式,直连模式节约了通过代理处理请求的时间,可以在一定程度上提高Redis服务的响应速度。

  • Q:如果后端的某个数据分片出现异常,对数据读写有什么影响?

    A:如果您的实例为集群版-单副本,由于仅具有主节点,无法保障数据可用性和服务连续性。推荐选择集群版-双副本,数据分片均采用主备高可用架构,当主节点发生故障后,系统会自动进行主备切换保证服务高可用。在某些极端场景下某个数据分片出现异常后,对数据的影响及优化方案如下。

    场景

    影响与优化方案

    图 2. 多Key命令场景多Key命令场景

    • 影响:

      客户端通过4个连接发送4个请求,当数据分片2处于异常状态时,仅有请求1(GET Key1可正常读取到数据),其他请求会访问到数据分片2会返回超时。

    • 优化方案:

      • 降低多Key命令(例如MGET)的使用频率,或降低一次请求中包含的Key的数量,避免因单个数据分片异常导致该请求全部返回失败。

      • 降低事务类命令的使用频率或降低事务大小,避免因某个子事务失败导致整个事务失败。

    图 3. 单连接场景单连接场景

    • 影响:

      客户端通过1个连接分别发送2个请求,当数据分片2处于异常状态时,请求2(GET Key2)将返回超时,同时由于请求1(GET Key1)和请求2共用同一连接,导致请求1也无法正常返回。

    • 优化方案:

      • 避免或降低对pipeline的使用。

      • 避免使用单连接的客户端,推荐使用连接池的客户端,例如客户端程序连接Redis(需设置合理的超时时间和连接池大小)。