MySQL数据

离线读 MySQL Reader插件在进行分库分表等多表同步时,若要对单表进行切分,则需要满足任务并发数大于表个数这一条件,否则切分的Task数目等于表的个数。支持的字段类型 各版本MySQL的全量字段类型请参见 MySQL官方文档。以下以MySQL 8.0.x...

PostgreSQL数据

是 无 splitPk PostgreSQL Reader进行数据抽取时,如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片数据同步会启动并发任务,以提高数据同步的效能:推荐 splitPk 用户使用表主键,因为表主键通常情况下比较均匀,因此...

设置数据分片以充分利用Shard性能

您可以对分片集群实例中的集合设置数据分片,以充分利用Shard节点的存储空间和计算性能。背景信息 如果没有对集合设置数据分片数据将被集中存放在一个Shard节点中,这将导致其他Shard节点的存储空间和计算性能无法被充分利用。前提条件 ...

MapReduce

MapReduce处理数据的完整流程如下:输入数据:对文本进行分片,将每片内的数据作为单个Map Worker的输入。分片完毕后,多个Map Worker便可以同时工作。在正式执行Map前,需要将输入数据进行分片。所谓分片,就是将输入数据切分为大小相等的...

数据脱敏

分片字段 否 DSC 执行静态脱敏时会对源数据进行字段分片,通过并发处理的方式提高脱敏效率。您可根据需要选择分片字段,支持选择多个分片字段。说明 当前仅有RDS数据支持增量脱敏,建议使用主键或者唯一索引作为分片字段。分片字段选择框内...

常见问题

如果IP层需要传输数据包,而且数据包的长度超过了MTU,那么IP层就要对数据进行分片操作,使每一片的长度都小于或等于MTU。如果数据包传送时不停地进行分片,会导致网络传输效率下降。在IPv6网络中,为了简化报文处理流程、提高处理效率,...

MongoDB 7.0新特性概览

自动合并(AutoMerger)MongoDB 7.0为自动均衡器(Balancer)实现了一个新的自动合并器(AutoMerger),当数据或索引分布不均衡、存在过多分片进行数据迁移时,自动合并器会合并Chunks,以均衡数据并提高性能。MongoDB 7.0默认开启该功能...

版本及存储引擎

在线重新分片 您可以在业务运行(数据不断增长)的情况下,按需改变集合的分片键(Shard key),而不需要数据库停机或在数据集合中进行复杂的迁移。您只需要在MongoDB Shell中运行reshardCollection命令,选择您需要重新分片数据库和集合...

数据建模

时序引擎会根据分片键对数据进行分片,然后路由到不同的后端节点进行存储,查询时如果查询条件命中分片键,则直接查询指定节点。示例 创建传感器表。CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,...

集群版-单副本

实例规格 实例规格导航:8分片、16分片、32分片、64分片 和 128分片。8分片 该系列实例规格的 分片数 均为8,CPU核数均为16(每个分片的CPU为2核),每秒新建连接数上限均为50,000。规格 InstanceClass(API 使用)单分片内存(GB)代理...

全局二级索引

A:全局二级索引和局部索引间的关系如下所示:全局二级索引:不同于局部索引,如果数据行和对应的索引行保存在不同分片上,称这种索引为全局二级索引,主要用于快速确定查询涉及的数据分片。局部索引:分布式数据库中,如果数据行和对应的...

深度解析PolarDB数据库并行查询技术

也可以将全部数据按固定大小进行分片,例如按一个数据页面大小,然后每个线程以Round-robin模式轮询读取一个分片。这里需要注意的是,按已有partition分配给不同worker可能会导致每个worker处理的数据不均匀,而按Round-robin模式进行轮询...

快速扩缩分片

跳转至对应页面:查看变更历史:注意事项 快速扩缩分片之后会自动触发一次索引重建,这时候由于分片数量变化了,索引的变化阈值会超出限制,需要用户自己去变更历史里面点一下 强制切换,才能让全量任务正常进行 分片数设置时,各索引表分...

扩缩分片

可能会有增量数据丢失的风险 注意事项 快速扩缩分片之后会自动触发一次索引重建,这时候由于分片数量变化了,索引的变化阈值会超出限制,需要用户自己去变更历史里面点一下 强制切换,才能让全量任务正常进行 分片数设置时,各索引表分片数...

修改表

或至少一个索引表分片数为1,其余索引表分片数一致 数据节点使用达到上限时,无法进行扩容分片操作,需要进行扩容数据节点,扩容完成后保证 表的分片个数数据节点个数 时才能进行分片操作。扩容操作可参考 扩缩容 校验数据源信息后,点击...

选择分片

该用户决定扩展成 4 台,那么每台物理数据库实例应该存放了 2 个分片,通过数据访问代理进行数据平滑迁移后,结构如下:后续业务规模继续发展,最终也只能将物理数据库实例扩展为 8 台,通过数据访问代理进行数据平滑迁移后,结构如下:...

内置检测模型说明

数据安全中心DSC(Data Security Center)通过内置的行为异常自学习模型和流转异常自学习模型,能够高效地分析审计日志,以识别与敏感数据相关的异常行为及攻击行为。当这些模型检测到潜在的风险活动时,会自动触发告警。支持的数据库 RDS...

调整实例的分片数量

增、减分片后,实例将自动进行数据重平衡,确保数据的一致性。该功能可帮助您更灵活地应对读写热点和数据倾斜问题。前提条件 实例的架构类型为 集群架构。实例的部署模式为 云原生。费用 按量付费实例,增减分片数量后,会按新规格计费。您...

调整实例的分片数量

增、减分片后,实例将自动进行数据重平衡,确保数据的一致性。该功能可帮助您更灵活地应对读写热点和数据倾斜问题。前提条件 部署模式为 云原生。实例架构类型为 集群架构。费用 按量付费实例,增减分片数量后,会按新规格计费。您只需在...

同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...

MongoDB(无分片键)迁移至MongoDB(分片集群架构)

数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据分片键字段缺失的情况下,将数据迁移至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...

云数据库MongoDB版(副本集架构)...或分片集群架构)

如果目标 云数据库MongoDB版 为分片集群架构,您需要根据业务需要在目标 云数据库MongoDB版 中创建需要分片数据库和集合、配置数据分片、开启Balancer并进行分片。更多信息,请参见 设置数据分片以充分利用Shard性能 和 如何处理分片...

MongoDB(无分片键)同步至MongoDB(分片集群架构)

数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据分片键字段缺失的情况下,将数据同步至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...

云数据库MongoDB版(分片集群架构)同步至云数据库...

在DTS同步期间,不支持MongoDB分片集群进行分片的扩缩容,否则会导致DTS任务失败。若源实例为分片集群架构的自建MongoDB,则 接入方式 仅支持 专线/VPN网关/智能网关 和 云企业网CEN。源MongoDB分片集群实例的Mongos节点的数量不能超过10个...

云数据库MongoDB版(分片集群架构)同步至云数据库...

在DTS同步期间,不支持MongoDB分片集群进行分片的扩缩容,否则会导致DTS任务失败。若源实例为分片集群架构的自建MongoDB,则 接入方式 仅支持 专线/VPN网关/智能网关 和 云企业网CEN。源MongoDB分片集群实例的Mongos节点的数量不能超过10个...

云数据库MongoDB版(分片集群架构)间的双向同步

源和目标 云数据库MongoDB版 为分片集群架构,您需要根据业务需求,在源和目标 云数据库MongoDB版 实例中创建需要分片数据库和集合、配置数据分片、开启Balancer并进行分片。更多信息,请参见 设置数据分片以充分利用Shard性能 和 如何...

自建数据库MongoDB版(分片集群架构)迁移至云数据库...

在DTS迁移期间,不支持MongoDB分片集群进行分片的扩缩容,否则会导致DTS任务失败。目标端MongoDB的count数量需要使用 db.$table_name.aggregate([{$count:"myCount"}])语法查询。由于DTS写入数据的逻辑为并发写入,所以会导致目标端占用的...

云数据库MongoDB版(副本集架构)...或分片集群架构)

如目标 云数据库MongoDB版 为分片集群架构,您需要根据业务需要,在目标 云数据库MongoDB版 中创建需要分片数据库和集合、配置数据分片、开启Balancer并进行分片。更多信息,请参见 设置数据分片以充分利用Shard性能 和 如何处理分片...

云数据库MongoDB版(单节点架构)全量迁移至云数据库...

如目标 云数据库MongoDB版 为分片集群架构,您需要根据业务需要,在目标 云数据库MongoDB版 中创建需要分片数据库和集合、配置数据分片、开启Balancer并进行分片。更多信息,请参见 设置数据分片以充分利用Shard性能 和 如何处理分片...

云数据库MongoDB版(分片集群架构)间的双向同步

数据传输服务DTS(Data Transmission Service)支持 云数据库MongoDB版(分片集群架构)间的双向同步,适用于异地多活(单元化)、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...

常见问题

支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...

MongoDB 4.0

阿里云数据库MongoDB实例间的迁移:从MongoDB单节点实例迁移至副本集或分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器...

使用限制

在使用云数据库MongoDB分片集群实例前,您需要了解分片集群实例本身存在的约束信息,使您初步了解分片集群实例的使用限制,帮助您进一步确认分片集群实例是否能够满足您的业务场景。功能 DynamoDB协议实例约束 MongoDB协议实例约束 实例...

MongoDB 4.4

阿里云数据库MongoDB实例间迁移:从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。...

常见报错

主日志错:all shards failed 错说明 出现该错后,集群会出现以下问题:读取请求无法从分片获得响应。由于集群或节点仍处于初始启动过程,导致无法搜索数据分片丢失或处于恢复模式,并且集群状态为red。错原因 可能原因如下:...

MongoDB 7.0

阿里云数据库MongoDB实例间迁移:从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。...

使用DTS将腾讯云MongoDB增量迁移至阿里云

如需迁移至阿里云MongoDB分片集群实例,建议对数据进行分片以更好地发挥性能,详情请参见 设置数据分片。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器...

使用DTS将腾讯云MongoDB增量迁移至阿里云

如需迁移至阿里云MongoDB分片集群实例,建议对数据进行分片以更好地发挥性能,详情请参见 设置数据分片。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器...

MongoDB 5.0

阿里云数据库MongoDB实例间迁移:从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。...

MongoDB 6.0

阿里云数据库MongoDB实例间迁移:从MongoDB副本集实例迁移至分片集群实例 跨阿里云账号迁移云数据库MongoDB 迁移云数据库MongoDB实例至其他地域 DTS在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用