DTS 数据增量迁移的基本原理是什么?是否能够保证两边...

DTS 的增量迁移是实时获取在迁移过程中,源数据库产生的增量数据,然后在全量迁移完成后,开始同步到目标 RDS 实例中。当增量迁移第一次追平源库的写入时,增量迁移的状态为无延迟,此后增量迁移会一直同步源数据库的业务写入。DTS 在进行...

工作原理

工作原理 本地安装一个数据库网关代理(database gateway agent)。数据库网关代理负责与数据库网关云端服务(database gateway cloud service)建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后,当您...

数据管理DMS逻辑同步至云原生数据仓库 AnalyticDB ...

如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...

概述

说明 关于AUTO模式数据库与DRDS模式数据库的介绍,请参见 AUTO模式数据库与DRDS模式数据库原理 在 PolarDB-X 中,如果创建表时通过 AUTO_INCREMENT 指定了自增列,为了保证自增列的全局唯一性,则自动为该表创建并关联一个Sequence对象,...

概述

数据库进行主备切换时,数据库代理将新的后端连接(即数据库代理和数据库节点的连接)桥接到原有的前端连接(即应用程序和数据库代理的连接)上,同时恢复之前的会话状态,包括原来的系统变量、用户变量和字符集编码等信息。连接保持功能...

备份对数据库的影响

备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分,然后在数据库上执行SQL语句,多线程并行读取数据。在数据库所在服务器上安装DBS备份网关,然后通过备份网关将数据库文件进行备份(拷贝)。增量备份原理 支持...

什么是数据库审计

工作原理 数据库审计服务通过旁路监听模式,支持完全独立于数据库的部署。在不影响数据库日常运行效能的前提下,实现灵活的审计与监控。基于数据库操作语句进行审计,监视数据库登录、访问行为,有效地实施审计策略。数据库审计服务还具备...

设置连接保持

说明 包含主动切换的运维操作:主动主备切换 升级小版本 修改重启类参数(修改参数时需重启实例)变更主实例配置 实现原理 数据库代理连接分为前端连接(代理与客户端的连接)和后端连接(代理与数据库的连接),在执行主动切换操作时,...

原理优势

以下是 MyBase 与自建数据库的综合对比优势:MyBase与自建数据对比优势 专属集群 MyBase 不仅继承了MySQL、SQL Server、PostgreSQL Redis数据库 实例的原有功能,还在某些方面有更多优势,详情请参见 MyBase与自建数据库对比优势。...

MongoDB 复制集原理深度分析

init sync过程:T1时间,从Primary同步所有数据库的数据(local除外),通过 listDatabases+listCollections+cloneCollection 命令组合完成,假设T2时间完成所有操作。从Primary应用T1到T2时间段内的所有oplog,可能部分操作已经包含在步骤...

主备方案介绍

数据库HBase存储海量大数据,在业务场景中往往承载着重要数据,为保障数据的高可用性和安全性,云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活:大数据量随机读响应...

透明数据加密概述

通过在数据库层执行静态数据加密,阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据(不需要更改应用代码或配置),而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取...

开通全密态数据库

全密态数据库默认被RDS PostgreSQL数据库集成,但仍需要您进行一些操作才能使用全密态数据库。本文档介绍了开通全密态数据库的流程和步骤。操作步骤 购买支持全密态功能的实例规格,购买方式请参见 创建RDS PostgreSQL实例、RDS PostgreSQL...

技术原理

PolarDB-X 1.0 扩容原理步骤如下:创建扩容计划 选择新增加RDS/PolarDB MySQL,并选定需要迁移到新RDS/PolarDB MySQL实例上的分库,提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号,并提交任务进行数据迁移同步。...

过载保护

背景 当用户做促销活动时,数据库主库的CPU资源容易负载过高,这时就需要对数据库进行变配(升级),但变配的过程中整个集群的请求可能都会路由到主节点,导致主节点CPU资源超负载甚至雪崩,从而影响用户业务的连续性。为了缓解此种情况的...

基本原理

在分布式数据库中,如果一个事务同时修改多个分库的数据,无法简单保证所有分库一定都能提交成功。如果在事务提交过程中出错,会出现一些分库提交成功、另一些分库失败回滚,产生数据不一致。因而无法保证事务的原子性。而 PolarDB-X 1.0 ...

备份集最小保留策略

数据库备份DBS 提供备份集最小保留能力,以避免客户意外删除所有备份集导致数据无法恢复的风险。工作原理 DBS根据客户设置的备份集生命周期进行备份集的转储和清理。DBS允许客户手动删除最旧的备份集和最新的备份集,但中间的备份集不支持...

平滑扩容

扩容示意图下:PolarDB-X 1.0 扩容步骤如下:创建扩容计划 选择新增加RDS/PolarDB MySQL,并选定需要迁移到新RDS/PolarDB MySQL实例上的分库,提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号,并提交任务进行数据迁移同步。...

技术原理

高可用与容灾 在生产环境部署数据库时往往会搭建多个副本(Replica),保证数据库实例的高可用性以及数据的持久性。为了保证副本间的强一致性,现代数据库往往采用以Paxos算法为代表的多数派复制协议,它要求实例中至少存在3个节点,每次...

原理

接收到用户的输入后,第一步是将语法树转换为数据库中的Node节点。下图详细解释了这个转换的过程。整个语法树挂在了 CreateStmt 节点下,分区表本质上还是创建一张表的过程;partspec 节点是一级分区管理节点,它承载了分区键和分区策略;...

概述

在创建数据库时,客户往往需要比较保守地去配置数据库集群的资源,包括CPU、内存、存储以及连接数等多种参数配置,以确保业务能够在波峰和波谷都能平稳运行。在这种情况下,客户购买的集群资源在业务波谷时期会被闲置,导致整体成本偏高;...

扩展性原理

针对这类在线数据库上复杂SQL的处理,PolarDB-X 1.0 额外扩展了单机并行处理器(Symmetric Multi-Processing,简称SMP)和多机并行处理器(DAG)。前者完全集成在 PolarDB-X 1.0 内核中;而对于后者,PolarDB-X 1.0 构建了一个计算集群,...

PGVector

PGVector是一个高效的向量数据库插件,支持多种向量计算算法和数据类型,同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...

调优原理

基本原理 PolarDB-X 1.0 是一个支持计算存储分离架构的数据库产品。当一条查询SQL发往 PolarDB-X 1.0 节点时(此SQL也称为逻辑SQL),PolarDB-X 1.0 会将其分成可下推的、和不可下推的两部分,可下推的部分也被称为物理SQL。原则上,...

PGVector

PGVector是一个高效的向量数据库插件,支持多种向量计算算法和数据类型,同时还能够高效存储与查询以向量表示的AI Embedding。本文档将为您介绍PGVector的背景、原理、使用方法及其他相关信息。背景信息 随着数据科学和机器学习等技术的...

调优原理和执行计划

分布式数据库架构相对单机数据库有差异,所以在单机数据库调优方法的基础上分布式数据库又有着自身的特点。PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行时长等信息,找出导致SQL执行慢的原因,进行针对性调优。一...

提交时间戳技术CTS

背景信息 目前主流的开源关系型数据库如MySQL或者PostgreSQL,其事务状态更新以及MVCC机制均是采用了基于活跃事务列表的方案。这种方案在高并发场景下会带来严重的性能瓶颈,无法充分利用CPU多核并发处理事务的逻辑;其次,基于活跃事务...

数据缓存

本文介绍 云数据库 SelectDB 版 中湖仓一体相关的数据缓存功能(File Cache),帮助您对外部数据源进行高效的联邦分析。概述 File Cache通过缓存最近访问的远端存储系统(HDFS或对象存储)的数据文件,可加速后续访问相同数据的查询。在...

使用跨机并行查询加速索引创建

索引创建完成后,该参数将会被重置为数据库默认设置。polar_bt_write_page_buffer_size 指定索引构建过程中的写IO策略。该参数默认值为0,不开启,单位为块,最大值可设置为8192。推荐设置为4096。当该参数设置为不开启时,在索引创建的...

什么是TTL功能

本文介绍了TTL的功能和原理。功能介绍 TTL(Time to Live,生存周期)功能,支持在创建表的DDL语句中指定local_partition_definition语法,创建一个TTL表。TTL表会将每个物理表按照时间进行分区,并通过定时任务进行管理,能够让冷数据在 ...

分布式事务

本文主要介绍 PolarDB-X 1.0 分布式事务的基本原理。分布式事务通常使用二阶段提交来保证事务的原子性(Atomicity)和一致性(Consistency)。二阶段事务会将事务分为以下两个阶段:准备(PREPARE)阶段:在PREPARE阶段,数据节点会准备好...

读写分离

本文将介绍 PolarDB-X 1.0 读写分离功能的原理。当 PolarDB-X 1.0 存储资源MySQL主实例的读请求较多、读压力比较大时,您可以通过读写分离功能对读流量进行分流,减轻存储层的读压力。PolarDB-X 1.0 读写分离功能采用了对应用透明的设计。...

实例间的数据库复制

RDS数据库复制功能与DTS迁移功能的区别 区别项 RDS数据库复制功能 DTS迁移功能 功能原理 RDS数据库复制的实现原理是通过备份集还原,即通过指定时间点或者备份集来将指定的数据库复制到目标实例,不会删除源库数据。DTS迁移为逻辑迁移,其...

OpenAPI 简介

本文介绍PolarDB-X 1.0 OpenAPI的基本概念,包括适用场景、基本原理、功能以及局限性。面向用户和场景 OpenAPI是PolarDB-X 1.0提供的管理PolarDB-X 1.0资源的手段,用于实现一系列资源管理和运维功能。主要功能包括有管理PolarDB-X 1.0实例...

自建SQL Server通过物理网关迁移上云

物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...

备份恢复概览

备份原理 OceanBase 数据库是一个读写分离的系统,内部数据按照存储方式,划分为基于 SSTable 格式的基线数据和基于 MemTable 格式的增量数据。OceanBase 的物理备份就是把某次合并的基线数据,以及该次合并后的增量数据 Commit Log 复制到...

CREATE DATABASE

语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name:数据库名。密码规则如下:长度不超过64个字符。以小写字符开头。可包含字母、数字以及下划线(_)。不能包含连续两个及以上的下划线(_)。不能是analyticdb,analyticdb是内置...

数据库管理

数据库Database)是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库,但是客户端程序一次只能连接上并且访问一个数据库,无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...

ALTER DATABASE

ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...

pg_database

目录 pg_database 存储有关可用数据库的信息。数据库通过CREATE DATABASE命令创建。和大部分系统目录不同,pg_database 是在集簇的所有数据库之间共享的:在一个集簇中只有一份 pg_database 拷贝,而不是每个数据库一份。列名称 列类型 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
其他人还在搜
数据库管理系统 MySQL数据库 wind数据库 关系型数据库 数据库系统概论 数据库原理
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 MongoDB 版 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用