RDS PostgreSQL同步至云数据库SelectDB版

类型

说明

源库限制

• 同步对象要求：

  • 待同步的表均具备主键或唯一约束：

    请确保表字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

    说明

    若接收数据的目标表不是通过DTS创建（同步类型未选中库表结构同步），则需确保该表与源库中待同步的表具备相同的主键或非空唯一约束，否则可能会导致目标数据库中出现重复数据。

  • 待同步对象中包含既无主键也无唯一约束的表：

    在配置实例时，建议同步类型勾选库表结构同步，且在库表列配置阶段将该表的引擎选择选择为duplicate，否则可能会导致实例失败或数据丢失。

    说明

    在库表结构同步阶段，DTS会在目标表中添加字段，详情请参见附加列信息。

  • 待同步的数据库名称中间不能包含短划线（-），例如dts-testdata。

• 若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。

• WAL日志：

  • 需开启，即设置wal_level参数的值为logical。

  • 如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的WAL日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

• 源库的操作限制：

  • 若源库为自建PostgreSQL，且进行了主备切换，会导致数据同步失败。

  • 为保障同步任务的正常进行，避免主备切换导致的逻辑订阅中断，需要RDS PostgreSQL支持并开启Logical Replication Slot Failover，设置方式，请参见逻辑复制槽故障转移（Logical Replication Slot Failover）。

  • 由于源库的逻辑订阅本身存在使用限制，在同步实例运行期间，若源库待同步的单条数据在增量变更后超过256 MB，则可能会导致同步实例运行失败且无法恢复，您需要重新配置同步实例。

  • 在库表结构同步和全量同步阶段，请勿执行库或表结构变更的DDL操作，否则会导致数据同步任务失败。

    说明

    在全量同步阶段，DTS将对源库进行查询，这将产生元数据锁，从而可能阻碍源数据库的DDL操作执行。

• 若源库有长事务，且实例包含增量同步任务，则可能会导致源库长事务提交前的预写日志WAL（Write-Ahead Logging）无法清理而堆积，从而造成源库磁盘空间不足。

• 在同步实例运行期间，若源库进行了大版本升级，将会导致同步实例运行失败并且无法恢复，您需要重新配置同步实例。

• PostgreSQL 18有生成列（Generated Column）的表不支持同步，如果配置同步，会阻塞该表的DML操作。

其他限制

• 目前只支持将数据同步到SelectDB实例的Unique或Duplicate引擎表。

  目标表为Unique引擎表

  若目标表为Unique引擎表，请确保目标表中的所有唯一键均存在于源表中且在同步对象中，否则可能会导致数据不一致。

  目标表为Duplicate引擎表

  若目标表为Duplicate引擎表，以下情况均可能会导致目标库中出现重复数据，您可以自行根据附加列（_is_deleted、_version和_record_id）进行去重操作：

  • 同步实例发生过重试操作。

  • 同步实例执行过重启操作。

  • 同步实例开始运行后，待同步的同一条数据执行过两次或更多次DML操作。

    说明

    当目标表为Duplicate引擎表时，DTS会将UPDATE或DELETE语句转换为INSERT语句。

• 在已选择对象框中进行参数设置时，当前仅支持设置bucket_count参数（分桶数量）。

  说明

  bucket_count的参数值仅支持设置为正整数，默认值为auto。

• 由于SelectDB实例仅支持以字母开头的库名和表名，如果待同步的库名或表名不是以字母开头，则需要使用映射功能进行修改。

• 若待同步对象（库、表、列）的名称包含中文，则需要使用映射功能进行修改（例如将其修改为英文），否则可能会导致任务失败。

• 不支持同步一次性修改多个列的DDL操作，以及对同一张表进行连续修改的DDL操作。

• 一个同步实例仅能同步一个数据库。如果需要同步多个数据库，则必须为每个数据库都配置同步实例。

• 不支持同步TimescaleDB插件表、包含跨Schema继承关系的表与包含基于表达式的唯一索引的表。

• 通过安装插件创建的Schema不支持同步。在配置任务时，您将无法在控制台获取相关信息。

• 在如下三个场景中，您需要在源库待同步的表写入数据前，对其执行ALTER TABLE schema.table REPLICA IDENTITY FULL;命令，以保障该表数据同步的一致性。执行该命令期间，建议您不要有锁表操作，否则会导致表锁死。若在预检查中跳过了相关检查，DTS会在该实例初始化时自动化执行该命令。

  • 实例初次运行时。

  • 同步对象的选择粒度为Schema，且在待同步的Schema中创建了新的表或使用RENAME命令重建了待同步的表时。

  • 使用修改同步对象功能时。

  说明

  • 命令中的schema和table需要替换为待同步数据所属的Schema名和表名。

  • 建议您在业务低峰期进行操作。

• 在全量数据初始化时，DTS将会占用源和目标库一定的读写资源，可能会导致数据库的负载上升。因此建议在执行数据同步前评估源库和目标库的性能，并在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。

• 在数据同步期间，请勿在SelectDB数据库中增加BE（Backend）节点，否则会导致任务失败。您可以尝试通过重新启动同步实例，来恢复失败的任务。

• 在多表合并（将源端多张表的数据同步到目标端的同一张表）场景中，请确保源端多张表的表结构一致，否则可能会导致数据不一致或任务失败。

• 在数据同步期间，请勿在目标SelectDB实例中新建集群，否则会导致任务失败。您可以尝试通过重新启动同步实例，来恢复失败的任务。

• DTS的校验对象为数据内容，暂不支持Sequence等元数据的校验，您需要自行校验。

• DTS会在源库中创建以下临时表，用于获取增量数据的DDL、增量表的结构、心跳信息等。在同步期间，请勿删除源库中的临时表，否则会导致DTS任务异常。临时表会在DTS实例释放后自动删除。

  public.dts_pg_class、public.dts_pg_attribute、public.dts_pg_type、public.dts_pg_enum、public.dts_postgres_heartbeat、public.dts_ddl_command、public.dts_args_session、public.aliyun_dts_instance。

• 数据同步期间，DTS会在源库创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以获取源库15分钟内的增量日志。当数据同步失败或释放同步实例时，DTS会尝试主动清理该replication slot。

  说明

  • 如果您在数据同步期间修改了任务使用的源库账号密码，或者删除了源库中DTS的IP白名单等，则会导致该replication slot无法自动清理。此时，您需要在源库手动清理replication slot，以避免其持续累积占用磁盘空间导致源库不可用。

  • 如果源库发生了主备切换，则您需要登录备库进行手动清理。

  执行 SQL 语句 SELECT * FROM pg_replication_slots; 可查看源库中所有复制槽，在查询结果的 slot_name 列中查找以 dts_sync_ 为前缀且 active 为 true 的记录，即为需要清理的 DTS 复制槽。

• 在同步分区表时，需将分区子表与父表同时纳入同步对象，否则可能导致该分区表的数据出现不一致情况。

  重要

  • PostgreSQL分区表的父表不直接存储数据，所有数据实际存储于分区子表中。同步任务需同时包含分区父表及其所有分区子表，否则可能会遗漏同步子表的数据，从而导致目标端与源端的数据不一致。

  • 暂不支持同步分布在不同数据库中的分区表和继承表（父子表）。请确保待迁移的分区表及其所有分区、父表及其所有子表均位于同一数据库中。

• 增量同步期间，为降低目标端的负载，DTS采用了攒批同步策略。默认情况下，对于单一同步对象，DTS至多每5秒进行一次写入。因此，DTS同步任务可能会出现常态化的同步延迟，通常在10秒以内。如希望降低该常态化同步延迟，请在控制台中修改DTS实例参数selectdb.reservoir.timeout.milliseconds，以调整攒批时间，允许的范围为[1000, 10000]毫秒。

  说明

  调整攒批时间时，较低的攒批时间将提升DTS的写入频率，这可能会导致目标端的负载和写入响应时间（RT）上升，从而导致DTS同步延迟增加，因此请根据目标端的负载情况进行适当调整。

• 若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。

  说明

  在调整参数时，仅会修改DTS实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于修改实例参数中的参数。

特殊情况

• • 当源实例为RDS PostgreSQL时

    同步期间，请勿修改RDS PostgreSQL的连接地址和可用区，否则会导致同步失败。

  • 当源实例为自建PostgreSQL时

    需要确保max_wal_senders和max_replication_slots的参数值，均大于当前数据库复制槽已使用数与需要以该自建PostgreSQL为源创建的DTS实例数的总和。

  • 当源实例为Google Cloud Platform Cloud SQL for PostgreSQL时，源库的数据库账号需填入具有cloudsqlsuperuser权限的账号。在选择同步对象时需选择此账号有权限管理的对象，或者给此账号添加待同步对象的Owner权限（例如，通过GRANT <待同步对象的Owner> TO <任务使用的源库账号>命令，使此账号能够以待同步对象的Owner身份执行相关操作）。

    说明

    具有cloudsqlsuperuser权限的账号，无法管理Owner为其他cloudsqlsuperuser权限账号的数据。

操作类型

SQL操作语句

DML

INSERT、UPDATE、DELETE

DDL

ADD COLUMN、DROP COLUMN

数据库

所需权限

创建及授权方式

源RDS PostgreSQL实例

高权限账号，且需为待同步数据库的Owner（授权账号）。

创建账号和创建数据库。

目标SelectDB实例

集群访问权限（Usage_priv）和数据库的读写权限（Select_priv、Load_priv、Alter_priv、Create_priv、Drop_priv）。

集群权限管理和基础权限管理。

类别

PostgreSQL数据库的数据类型

SelectDB实例的数据类型

NUMERIC

SMALLINT

SMALLINT

INTEGER

INT

BIGINT

BIGINT

DECIMAL

DECIMAL

NUMERIC

DECIMAL

REAL

DOUBLE

DOUBLE

DOUBLE

SMALLSERIAL

SMALLINT

SERIAL

INT

BIGSERIAL

BIGINT

MONETARY

MONEY

STRING

CHARACTER

• CHAR(n)

• VARCHAR(n)

VARCHAR

TEXT

STRING

BINARY

BYTEA

STRING

DATE AND TIME

TIMESTAMP [(P)] [WITHOUT TIME ZONE]

DATETIMEV2

TIMESTAMP [(P)] WITH TIME ZONE

DATETIMEV2

DATE

DATEV2

TIME [(P)] [WITHOUT TIME ZONE]

VARCHAR(50)

TIME [(P)] WITH TIME ZONE

VARCHAR(50)

INTERVAL [FIELDS] [(P)]

STRING

BOOLEAN

BOOLEAN

BOOLEAN

GEOMETRIC

• POINT

• LINE

• LSEG

• BOX

• PATH

• POLYGON

• CIRCLE

STRING

NETWORK ADDRESS

• CIDR

• INET

• MACADDR

• MACADDR8

STRING

TEXT SEARCH

TSVECTOR

STRING

XML

XML

STRING

JSON

JSON

JSON