集群架构
客户端首次连接时会通过DNS将直连地址解析为一个随机数据分片的虚拟IP（VIP）地址，之后即可通过Redis Cluster协议访问各数据分片。直连模式的服务架构和说明如下。说明 直连模式与代理模式的连接方式区别较大，相关注意事项和连接示例请...
集群版-双副本
客户端首次连接时会通过DNS将直连地址解析为一个随机数据分片的虚拟IP（VIP）地址，之后即可通过Redis Cluster协议访问各数据分片。直连模式的服务架构和说明如下。说明 直连模式与代理模式的连接方式区别较大，相关注意事项和连接示例请...
调整实例的分片数量
当数据规模增大、读写流量暴增时，云数据库 Redis 版 云原生 集群架构实例支持自由调整分片节点的数量，且支持无感扩缩容（即扩缩容不闪断无只读状态）。增、减分片后，实例将自动进行数据重平衡，确保数据的一致性。该功能可帮助您更灵活...
调整实例的分片数量
当数据规模增大、读写流量暴增时，云原生内存数据库 Tair 云原生 集群架构实例支持自由调整分片节点的数量，且支持无感扩缩容（即扩缩容不闪断无只读状态）。增、减分片后，实例将自动进行数据重平衡，确保数据的一致性。该功能可帮助您更...
阿里云自研的Proxy命令
db_idx 为数据分片节点，取值为[0,集群分片总数]；其他参数的用法及返回结果与原生 INFO 命令类似，更多信息请参见 INFO。命令示例：IINFO 1 Server 返回示例："#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...
阿里云自研的Proxy命令
db_idx 为数据分片节点，取值为[0,集群分片总数]；其他参数的用法及返回结果与原生 INFO 命令类似，更多信息请参见 INFO。命令示例：IINFO 1 Server 返回示例："#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...
设置数据分片以充分利用Shard性能
您可以对分片集群实例中的集合设置数据分片，以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片，数据将被集中存放在一个Shard节点中，这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...
流量诊断
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。实时查询热点Key 在左侧导航栏中，选择 流量诊断>topregion/key实时查询。设置筛选条件，包括排序维度、...
集群版-单副本
实例规格 实例规格导航：8分片、16分片、32分片、64分片 和 128分片。8分片 该系列实例规格的 分片数 均为8，CPU核数均为16（每个分片的CPU为2核），每秒新建连接数上限均为50,000。规格 InstanceClass（API 使用）单分片内存（GB）代理...
系统架构
云数据库Memcache版内置数据分片及读取算法，整体过程对用户透明，免去用户开发及运维烦恼。每个分片节点采取主备架构保证服务高可用。系统架构 云数据库 Memcache 版由 Proxy 服务器（服务代理）、分片服务器和配置服务器三个组件组成。...
持久内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
持久内存型实例规格
实例规格 下表为单个分片的规格，集群架构、读写分离架构实例的整体性能为：分片规格性能*分片数。说明 规格中的 ESSD云盘 仅用于系统运行（例如存储日志、备份临时文件、AOF文件等），不作为数据存储的介质。关于集群架构直连模式与集群...
全局二级索引
A：全局二级索引和局部索引间的关系如下所示：全局二级索引：不同于局部索引，如果数据行和对应的索引行保存在不同分片上，称这种索引为全局二级索引，主要用于快速确定查询涉及的数据分片。局部索引：分布式数据库中，如果数据行和对应的...
集群版-单副本
集群版-单副本采用代理（proxy）集群模式，数据分片为单节点架构，可为您提供高性能的存储服务。警告 单副本架构不能保障数据可用性和服务连续性，选用前请务必确认风险，不建议您在生产环境中使用该架构的实例。云数据库Redis版...
规格查询导航
集群架构-双副本：每个数据分片都是主从（master-replica）架构。内存容量上限可达4,096 GB（16 GB*256分片数），支持约25,600,000 QPS（参考值）。集群架构-单副本：每个数据分片都是单节点架构。内存容量上限可达2,048 GB（16 GB*128分片...
常见问题
为了简化报文处理流程、提高处理效率，限定IPv6路由器不处理分片，分片只在源主机的IP层需要时进行，即如果传输路径中的数据包大于MTU，路由器会将该数据包丢弃并向源主机返回“数据包过大”的响应，源主机IP层对数据包分片后重新发送。...
聚类分片
基本原理 Proxima CE在检索时有两种划分数据分片的方式：哈希分片与聚类分片。您可以通过设置-sharding_mode 参数来选择具体的索引分片模式，值为 hash 时采用哈希分片，值为 cluster 时采用聚类分片，当前默认采用哈希分片。哈希分片：在...
规格查询导航
内存型（集群架构）：采用多线程模型的集群实例，每个数据分片均为主从双副本架构，性能约为同规格社区版实例的3倍。内存容量上限可达4,096 GB（16 GB*256分片数），支持约61,440,000 QPS（参考值）。持久内存型实例规格 数据持久化不依赖...
MongoDB 5.0新特性概览
在线数据重新分片 数据库版本 特点 实现方法 MongoDB 5.0以前 重新分片过程复杂且需要手动分片。方法一：先dump整个集合，然后用新的分片键把数据库重新加载到一个新的集合中。由于这是一个需要离线处理的过程，因此您的应用程序在重新加载...
深度解析PolarDB数据库并行查询技术
通常来说，每个worker只有所有数据的一个分片，只在一个数据分片上做GROUP BY是有极大的风险得到错误的GROUP BY结果的，因为同一GROUP分组的数据可能不只是在本WORKER的数据分片上，也可能在其它WORKER的数据分片中，被其它WORKER所持有。...
如何确认增加或删除Shard节点的进度
如果您的MongoDB数据库的大版本为5.0及以上，则可以通过 reshardCollection 命令来将指定分片表按照新的分片键重新分片。更多介绍，请参见 Reshard a Collection。如果您确认部分业务数据可删除的话，则可以删除对应Jumbo Chunk中的数据，...
如何优化Batch Insert
所以数据分片下，PolarDB-X 的Batch Insert语句可以更大一些，或者尽量将同一个物理表的数据放到一个batch Insert语句中，保证拆分函数分离values后下推到单个数据分片上的batch size较合适，以提升存储节点的性能。子场景一（BATCH_INSERT...
Tair选型指南
集群架构 由代理节点、数据分片和配置服务器组件构成，可通过增加数据分片的方式实现横向扩展。每个数据分片均为双副本（分别部署在不同机器上）高可用架构，主节点发生故障后，系统会自动进行主从切换保证服务高可用。数据量较大的场景。...
离线同步并发和限流之间的关系
数据集成在编排执行计划时，每个并发分片的速率是（作业速率/作业并发数，计算的分片速度向上取整），分片限速下限是 1MB/s。故任务实际运行的速率上限是任务实际并发数*每个分片的实际限速。针对限流场景，举几个常见案例介绍如下：用户...
云数据库Redis版产品选型必读
集群架构 由代理节点、数据分片和配置服务器组件构成，可通过增加数据分片的方式实现横向扩展。每个数据分片均为双副本（分别部署在不同机器上）高可用架构，主节点发生故障后，系统会自动进行主从切换保证服务高可用。数据量较大的场景。...
topRegion分析
上图是查询每秒内读请求数据量最大的五个分片，再将属于同一张表的分片聚合在一起，并按照分片读请求数据量的值升序排列后的结果。TopRegion历史快照 TopRegion历史快照支持查询某一历史时间点的热点分片。选择 idc、分组 和 历史快照。...
入门概述
通过程序代码连接MongoDB副本集实例 分片集群（推荐）通过DMS连接MongoDB分片集群实例 通过Mongo Shell连接MongoDB分片集群实例 通过程序代码连接MongoDB分片集群实例 可选：创建数据库账号并添加权限。不建议在生产环境中直接使用root账号...
使用MongoDB工具将自建数据库迁移至分片集群实例
说明 通过专有网络或经典网络连接分片集群实例时，您需要将自建数据库所属ECS的内网IP地址加入至分片集群实例的白名单中。通过公网地址连接分片集群实例时，将需要将自建数据库所属本地服务器的公网IP地址加入至分片集群实例的白名单中。在...
数据脱敏
分片字段 否 DSC 执行静态脱敏时会对源数据进行字段分片，通过并发处理的方式提高脱敏效率。您可根据需要选择分片字段，支持选择多个分片字段。说明 当前仅有RDS数据支持增量脱敏，建议使用主键或者唯一索引作为分片字段。分片字段选择框内...
使用限制
将ECS上分片集群架构的自建MongoDB迁移上云 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至分片集群实例 第三方云数据库迁移至云数据库MongoDB。使用NimoShake将Amazon DynamoDB迁移至阿里云 使用...
集群容量规划
每个索引被分成多个分片，数据写入时会基于文档ID自动哈希打散到不同的分片中，在设置分片个数时，通常的建议如下：建议单个分片大小保持在20GB~50GB之间。建议分片数量为节点个数的整数倍，例如实例有2个节点，则创建的索引分片设置为2。...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
逻辑备份恢复至自建数据库
当自建数据库是分片集群时，导入数据命令中必须添加-nsExclude="config.*"，否则数据恢复过程可能会出现报错。将分片集群实例中的数据恢复至自建数据库时，需要下载分片集群实例中每个Shard组件的备份数据并导入到自建数据库。当分片集群...
MongoDB实例空间使用率高问题
部分db未做分片 云数据库MongoDB分⽚集群实例允许部分db做分片，部分db不做分片。那么必然会带来这样的⼀个问题：不做分片的db的数据必然只能存在⼀个分⽚上，如果该db数据量很⼤，可能会造成该分⽚的数据量远⼤于其他分⽚。从⼀个源端...
使用限制
在使用云数据库MongoDB分片集群实例前，您需要了解分片集群实例本身存在的约束信息，使您初步了解分片集群实例的使用限制，帮助您进一步确认分片集群实例是否能够满足您的业务场景。功能 DynamoDB协议实例约束 MongoDB协议实例约束 实例...
性能测试
本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
快速扩缩分片
功能介绍 当用户业务数据即将超过节点规格的上限时，为保证业务数据正常导入，可以通过快速扩缩分片功能，调整数据节点个数完成扩容，调整后立即完成，无需配置更新和索引重建，也可确保用户API推送数据源的数据完整性。操作步骤 在运维...
扩缩分片
功能介绍 当用户业务数据即将超过节点规格的上限时，为保证业务数据正常导入，可以通过扩缩分片功能，调整数据节点个数完成扩容。扩缩分片有两种方式：修改索引表和快速扩缩分片，本文将分别介绍这两种方式的使用场景，以及操作步骤。操作...
- 产品推荐
- 这些文档可能帮助您