Java UDAF

输入数据分片:MaxCompute会按照MapReduce处理流程对输入数据按照一定的大小进行分片,每片的大小适合一个Worker在适当的时间内完成。分片大小需要您通过 odps.stage.mapper.split.size 参数进行配置。分片逻辑请参见 MapReduce流程说明。...

MySQL数据

实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢?MySQL库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时,同步到MySQL中的中文字符出现乱码时,如何处理?如何处理编码格式设置/乱码问题导致的脏...

PostgreSQL数据

是 无 splitPk PostgreSQL Reader进行数据抽取时,如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片数据同步会启动并发任务,以提高数据同步的效能:推荐 splitPk 用户使用表主键,因为表主键通常情况下比较均匀,因此...

Oracle数据

常见问题 实时同步Oracle、PolarDB、MySQL任务重复错 主备同步数据恢复问题 主备同步问题指Oracle使用主从灾备,当主库错切换至备库后,备库从主库不断地通过binlog恢复数据。由于主备数据同步存在一定的时间差,在网络延迟等特定情况...

阿里云自研的Proxy命令

db_idx 为数据分片节点,取值为[0,集群分片总数];其他参数的用法及返回结果与原生 INFO 命令类似,更多信息请参见 INFO。命令示例:IINFO 1 Server 返回示例:"#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...

阿里云自研的Proxy命令

db_idx 为数据分片节点,取值为[0,集群分片总数];其他参数的用法及返回结果与原生 INFO 命令类似,更多信息请参见 INFO。命令示例:IINFO 1 Server 返回示例:"#Server\r redis_version:5.0.13\r os:Linux\r tcp_port:6379\r uptime_in_...

快速扩缩分片

功能介绍 当用户业务数据即将超过节点规格的上限时,为保证业务数据正常导入,可以通过快速扩缩分片功能,调整数据节点个数完成扩容,调整后立即完成,无需配置更新和索引重建,也可确保用户API推送数据源的数据完整性。操作步骤 在运维...

设置数据分片以充分利用Shard性能

背景信息 如果没有对集合设置数据分片数据将被集中存放在一个Shard节点中,这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 实例类型为分片集群实例。注意事项 片键一经设置,不可修改,不可删除。执行了数据分片...

扩缩分片

功能介绍 当用户业务数据即将超过节点规格的上限时,为保证业务数据正常导入,可以通过扩缩分片功能,调整数据节点个数完成扩容。扩缩分片有两种方式:修改索引表和快速扩缩分片,本文将分别介绍这两种方式的使用场景,以及操作步骤。操作...

使用MongoDB工具将自建数据库迁移至分片集群实例

您可以在本地设备或ECS实例中安装MongoDB数据库,然后借助该工具将自建MongoDB数据库迁移至阿里云MongoDB分片集群实例。背景信息 建议通过DTS迁移分片集群架构的自建MongoDB数据库上云,可实现不停机迁移上云。详情请参见 使用DTS迁移分片...

修改表

当需要修改数据分片数据源、字段配置、索引结构时可通过修改表操作进行。此处以 修改数据分 片为例,演示如何修改表,以及如何让修改的内容在线生效:在表管理页找到需要修改的表,点击 编辑:表基础信息编辑,修改数据分片数:注意:分...

集群版-单副本

实例规格 实例规格导航:8分片、16分片、32分片、64分片 和 128分片。8分片 该系列实例规格的 分片数 均为8,CPU核数均为16(每个分片的CPU为2核),每秒新建连接数上限均为50,000。规格 InstanceClass(API 使用)单分片内存(GB)代理...

存储层高可用

读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片,每个数据分片由三副本组成,分片内基于Raft协议进行Leader选举、日志复制和状态机日志应用。三副本的多数派存活是保证数据读写高可用的关键,优势在于可允许1个副本所在节点发生宕机...

集群架构

代理模式 代理(proxy)模式,客户端的请求通过代理服务器转发到各数据分片,代理服务器、数据分片和配置服务器均不提供单独的连接地址,降低了应用开发难度和代码复杂度。代理节点会自动对其实现负载均衡、路由转发及故障转移等。关于...

内存型(集群架构)

实例规格 实例规格导航:2分片、4分片、8分片、16分片、32分片、48分片、64分片、128分片、256分片 等。2分片 该系列实例规格的 分片数 均为2,CPU核数均为12(每个分片的CPU为6核),每秒新建连接数上限均为50,000。规格 InstanceClass...

集群版-双副本

实例规格 实例规格导航:2分片、4分片、8分片、16分片、32分片、48分片、64分片、96分片、128分片 和 256分片。2分片 该系列实例规格的 分片数 为2,CPU核数均为4(每个分片的CPU为2核),每秒新建连接数上限均为20,000。规格 ...

集群版-双副本

代理模式 代理(proxy)模式,客户端的请求通过代理服务器转发到各数据分片,代理节点、数据分片和配置服务器均不提供单独的连接地址,降低了应用开发难度和代码复杂度。代理节点会自动对其实现负载均衡、路由转发及故障转移等。关于Proxy...

系统架构

数据库Memcache版内置数据分片及读取算法,整体过程对用户透明,免去用户开发及运维烦恼。每个分片节点采取主备架构保证服务高可用。系统架构 云数据库 Memcache 版由 Proxy 服务器(服务代理)、分片服务器和配置服务器三个组件组成。...

全局二级索引

A:全局二级索引和局部索引间的关系如下所示:全局二级索引:不同于局部索引,如果数据行和对应的索引行保存在不同分片上,称这种索引为全局二级索引,主要用于快速确定查询涉及的数据分片。局部索引:分布式数据库中,如果数据行和对应的...

持久内存型实例规格

说明 当您通过直连模式连接实例时,由于绕过了代理节点,连接性能有一定的下降,单个数据分片的每秒新建连接数上限为2,000。例如实例具备4个数据分片,则整体的每秒新建连接数上限为8,000。相关文档 持久内存型性能白皮书 Tair命令支持概览

混合存储-集群版(已停售)

整体带宽限制:为单个分片的最大带宽*分片数,例如128分片的集群实例(单个分片的内存大于1 GB,单个分片的最大带宽为96 MB/s),开启直连后整体带宽为12,288 MB/s。带宽分别应用于上行带宽和下行带宽,如果某规格的带宽为10 MB,则该规格...

持久内存型实例规格

说明 当您通过直连模式连接实例时,由于绕过了代理节点,连接性能有一定的下降,单个数据分片的每秒新建连接数上限为2,000。例如实例具备4个数据分片,则整体的每秒新建连接数上限为8,000。相关文档 持久内存型性能白皮书 Tair命令支持概览

集群版-单副本

集群版-单副本采用代理(proxy)集群模式,数据分片为单节点架构,可为您提供高性能的存储服务。警告 单副本架构不能保障数据可用性和服务连续性,选用前请务必确认风险,不建议您在生产环境中使用该架构的实例。云数据库Redis版...

内存型实例规格

说明 当您通过直连模式连接实例时,由于绕过了代理节点,连接性能有一定的下降,单个数据分片的每秒新建连接数上限为2,000。例如实例具备4个数据分片,则整体的每秒新建连接数上限为8,000。相关文档 内存型 内存型(兼容Redis 5.0)性能...

内存型实例规格

说明 当您通过直连模式连接实例时,由于绕过了代理节点,连接性能有一定的下降,单个数据分片的每秒新建连接数上限为2,000。例如实例具备4个数据分片,则整体的每秒新建连接数上限为8,000。相关文档 内存型 内存型(兼容Redis 5.0)性能...

混合存储-集群版(已停售)

说明 当代理模式使用PUBSUB类型订阅命令、BLOCK类型命令、事务命令时,代理模式会给客户端连接建立独享的后端连接,此时连接无法聚合,最大连接数会受到数据节点单个分片的最大连接数限制,上限为直连模式的阈值。直连模式:单分片最大连接...

规格查询导航

集群架构-双副本:每个数据分片都是主从(master-replica)架构。内存容量上限可达4,096 GB(16 GB*256分片数),支持约25,600,000 QPS(参考值)。集群架构-单副本:每个数据分片都是单节点架构。内存容量上限可达2,048 GB(16 GB*128分片...

聚类分片

基本原理 Proxima CE在检索时有两种划分数据分片的方式:哈希分片与聚类分片。您可以通过设置-sharding_mode 参数来选择具体的索引分片模式,值为 hash 时采用哈希分片,值为 cluster 时采用聚类分片,当前默认采用哈希分片。哈希分片:在...

创建DynamoDB协议兼容版实例

数据库MongoDB分片集群实例兼容DynamoDB协议。本文介绍创建DynamoDB协议兼容版实例的方法。重要 DynamoDB协议兼容版实例已停止新购,如需使用分片集群实例,建议选择MongoDB协议。更多说明,请参见【通知】分片集群DynamoDB协议兼容版...

扩缩容

表的数据存储方式 表之间数据存储和查询共享数据节点资源(CPU、内存、磁盘):上图中展示的就是两张向量表,一个是4分片,一个是1分片,4分片的会根据产出的索引进行均分数据到每个分片中,而1分片的向量表则会形成广播表在每个数据节点中...

创建分片集群实例

数据库MongoDB提供的分片集群实例适用于高并发读写的场景。本文介绍云数据库MongoDB分片集群实例的创建方法。前提条件 已注册阿里云账号,注册流程请参见 注册阿里云账号。注意事项 如果应用部署在ECS实例,您需要确保云数据库MongoDB...

创建分片集群实例

数据库MongoDB提供的分片集群实例适用于高并发读写的场景。本文介绍云数据库MongoDB分片集群实例的创建方法。前提条件 已注册阿里云账号,注册流程请参见 注册阿里云账号。注意事项 如果应用部署在ECS实例,您需要确保云数据库MongoDB...

规格查询导航

内存型(集群架构):采用多线程模型的集群实例,每个数据分片均为主从双副本架构,性能约为同规格社区版实例的3倍。内存容量上限可达4,096 GB(16 GB*256分片数),支持约61,440,000 QPS(参考值)。持久内存型实例规格 数据持久化不依赖...

手动增加实例带宽

低成本地应对访问倾斜 实例为集群架构或读写分离架构,某些数据分片或只读节点的访问比较频繁,带宽频频到达上限,而其他数据分片或只读节点的带宽使用率较低,需要仅升级指定数据分片或只读节点的带宽,无需升级整体实例的带宽或规格。...

手动增加实例带宽

低成本地应对访问倾斜 实例为集群架构或读写分离架构,某些数据分片或只读节点的访问比较频繁,带宽频频到达上限,而其他数据分片或只读节点的带宽使用率较低,需要仅升级指定数据分片或只读节点的带宽,无需升级整体实例的带宽或规格。...

深度解析PolarDB数据库并行查询技术

通常来说,每个worker只有所有数据的一个分片,只在一个数据分片上做GROUP BY是有极大的风险得到错误的GROUP BY结果的,因为同一GROUP分组的数据可能不只是在本WORKER的数据分片上,也可能在其它WORKER的数据分片中,被其它WORKER所持有。...

如何确认增加或删除Shard节点的进度

如果您的MongoDB数据库的大版本为5.0及以上,则可以通过 reshardCollection 命令来将指定分片表按照新的分片键重新分片。更多介绍,请参见 Reshard a Collection。如果您确认部分业务数据可删除的话,则可以删除对应Jumbo Chunk中的数据,...

topKey分析

平均响应 毫秒(ms)不同分片数据的平均响应时间。说明 在 Top 文本框中输入需要查询的记录总数量可调整查询结果的显示数量。打开 升序 开关,结果将按照升序显示所选维度的数据。查询历史热点Key:在 TopKey 历史快照 区域,选择 idc 和 ...

管理MongoDB均衡器Balancer

在 云数据库 MongoDB 版 分片集群实例增删Shard节点、数据迁移等场景下,您可能需要修改均衡器Balancer的活动窗口期或开启关闭均衡器Balancer。本文介绍如何管理均衡器Balancer。功能简介 均衡器Balancer用于均衡分片集群实例中各Shard节点...

使用MongoDB存储日志数据

按均匀分布的key分片:假设上述场景里 path 字段的分布是比较均匀的,而且很多查询都是按path维度去划分的,那么可以考虑按照path字段对日志数据进行分片,带来的好处如下:写请求会被均分到各个shard。针对path的查询请求会集中落到某个...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用