云数据库SelectDB版支持亚秒级响应海量数据查询、万级高并发点查询以及高吞吐复杂分析。数据传输服务DTS(Data Transmission Service)可以帮助您将SQL Server数据库(例如RDS SQL Server)同步至云数据库SelectDB版,满足您的海量数据分析需求。本文以RDS SQL Server实例为例,为您介绍相关操作步骤。
此功能正在灰度内测中,仅部分用户可以使用。
适用范围
已创建存储空间大于源RDS SQL Server实例已占用存储空间的目标云数据库SelectDB实例。创建方式,请参见新建实例。
若源实例存在如下任一情况,建议拆分为多个同步任务。
-
数据库超过10个。
-
单个数据库执行日志备份操作的频率超过1次/小时。
-
单个数据库执行DDL操作的频率超过100条/小时。
-
单个数据库的日志量超过20 MB/s。
-
需要开启CDC(Change Data Capture,变更数据捕获)的表超过1000个。
-
注意事项
在库表结构同步过程中,DTS不会将源数据库中的外键同步到目标数据库。
类型 | 说明 |
源库限制 |
|
其他限制 |
|
特殊情况 | 源实例为RDS SQL Server时,DTS会在源RDS SQL Server实例中创建一个 |
费用说明
| 同步类型 | 链路配置费用 |
| 库表结构同步和全量数据同步 | 不收费。 |
| 增量数据同步 | 收费,详情请参见计费概述。 |
支持增量同步的SQL
操作类型 | SQL操作语句 |
DML | INSERT、UPDATE、DELETE 说明
不支持同步仅更新大字段的UPDATE语句。 |
DDL | ALTER TABLE仅包含ADD COLUMN、DROP COLUMN。 |
数据库账号的权限要求
数据库 | 所需权限 | 创建及授权方式 |
源RDS SQL Server | 待同步对象的所有者权限 | |
目标SelectDB | 集群访问权限(Usage_priv)和数据库的读写权限(Select_priv、Load_priv、Alter_priv、Create_priv、Drop_priv) |
操作步骤
进入目标地域的同步任务列表页面(二选一)。
通过DTS控制台进入
登录数据传输服务DTS控制台。
在左侧导航栏,单击数据同步。
在页面左上角,选择同步实例所属地域。
通过DMS控制台进入
说明实际操作可能会因DMS的模式和布局不同,而有所差异。更多信息,请参见极简模式控制台和自定义DMS界面布局与样式。
登录DMS数据管理服务。
在顶部菜单栏中,选择。
在同步任务右侧,选择同步实例所属地域。
单击创建任务,进入任务配置页面。
配置源库及目标库信息。
类别
配置
说明
无
任务名称
DTS会自动生成一个任务名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
源库信息
选择已有连接信息
若您需要使用已录入系统(新建或保存)的数据库实例,请在下拉列表中选择所需的数据库实例,下方的数据库信息将自动进行配置。
说明DMS控制台的配置项为选择DMS数据库实例。
若您未将数据库实例录入到系统,或无需使用已录入系统的数据库实例,则需要手动配置下方的数据库信息。
数据库类型
选择SQLServer。
接入方式
选择云实例。
实例地区
选择源RDS SQL Server实例所属地域。
是否跨阿里云账号
本示例为同一阿里云账号间的同步,选择不跨账号。
实例ID
选择源RDS SQL Server实例ID。
数据库账号
填入源RDS SQL Server实例的数据库账号,权限要求请参见数据库账号的权限要求。
数据库密码
填入该数据库账号对应的密码。
连接方式
请根据实际情况选择非加密连接或SSL安全连接。
-
若源库未开启SSL加密,请选择非加密连接。
-
若源库已开启SSL加密,请选择SSL安全连接,DTS默认信任服务端证书。
目标库信息
选择已有连接信息
若您需要使用已录入系统(新建或保存)的数据库实例,请在下拉列表中选择所需的数据库实例,下方的数据库信息将自动进行配置。
说明DMS控制台的配置项为选择DMS数据库实例。
若您未将数据库实例录入到系统,或无需使用已录入系统的数据库实例,则需要手动配置下方的数据库信息。
数据库类型
选择SelectDB。
接入方式
选择云实例。
实例地区
选择目标SelectDB实例所属地域。
是否跨阿里云账号
本示例为同一阿里云账号间的同步,选择不跨账号。
实例ID
选择目标SelectDB实例的ID。
数据库账号
填入目标SelectDB实例的数据库账号,权限要求请参见数据库账号的权限要求。
数据库密码
填入该数据库账号对应的密码。
配置完成后,在页面下方单击测试连接以进行下一步。
说明请确保DTS服务的IP地址段能够被自动或手动添加至源库和目标库的安全设置中,以允许DTS服务器的访问。更多信息,请参见添加DTS服务器IP地址白名单。
若源库或目标库为自建数据库(接入方式不是云实例),则还需要在弹出的DTS服务器访问授权对话框单击测试连接。
配置任务对象。
在对象配置页面,配置待同步的对象。
配置
说明
同步类型
固定选中增量同步。默认情况下,您还需要同时选中库表结构同步和全量同步。预检查完成后,DTS会将源实例中待同步对象的全量数据在目标集群中初始化,作为后续增量同步数据的基线数据。
重要SQL Server的数据同步到SelectDB会进行类型转换,若您未勾选库表结构同步,则需要提前在目标SelectDB中创建好相应结构的Unique模型表。更多信息,请参见数据类型映射关系。
源库和目标库结构映射模式
由于SQL Server有database>schema>table三层关系,SelectDB只有database>table两层关系,因此需要做源和目标库的结构映射。该链路仅支持不使用源库schema名称模式,即源Database名称作为目标Database名称,源Table名作为目标Table名称。
重要该模式下源库不同schema里不能有重名表,否则会导致DTS任务失败或数据不一致。
SQLServer增量同步模式
非堆表用日志解析增量同步,堆表用CDC增量同步(混合式日志解析):
优点:
支持源库堆表、无主键表、压缩表、含计算列表等场景。
链路稳定性较高。能拿到完整的DDL语句,DDL场景支持丰富。
缺点:
DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、DDL存储表dts_cdc_ddl_history以及会开启库级别CDC和部分表CDC。
不支持在源库对开启CDC的表执行SELECT INTO、TRUNCATE、RENAME COLUMN和修改列类型语句,DTS在源库中创建的触发器不允许手动删除。
说明包含geometry,geography或hierarchyid等类型的表不支持开启CDC。
解析源库日志做增量同步(不支持堆表):
优点:
对源库无侵入。
缺点:
不支持源库堆表、无主键表、压缩表、含计算列表等场景。
轮询查询CDC实例做增量同步:
优点:
源库为Amazon RDS for SQL Server、Azure SQL Database、Azure SQL Managed Instance、Azure SQL Server on Virtual Machine、Google Cloud SQL for SQL Server时支持全量和增量同步。
使用SQL Server原生CDC组件获取增量数据,增量同步更加稳定,占用的网络带宽更少。
缺点:
DTS实例使用的源库账号需具备开启CDC的权限,且增量数据同步约有10秒的延迟。
在同步多库多表的场景,可能会有稳定性和性能问题的风险。
DTS支持开启CDC的表最大数量限制
您可以根据实际情况,合理设置当前同步实例允许开启CDC的表数量,默认为1000。
说明当SQLServer增量同步模式选择解析源库日志做增量同步(不支持堆表)时,不会有此配置项。
目标已存在表的处理模式
预检查并报错拦截:检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表,则通过该检查项目;如果目标数据库中有同名的表,则在预检查阶段提示错误,数据同步任务不会被启动。
说明如果目标库中同名的表不方便删除或重命名,您可以更改该表在目标库中的名称,请参见库表列名映射。
忽略报错并继续执行:跳过目标数据库中是否有同名表的检查项。
警告选择为忽略报错并继续执行,可能导致数据不一致,给业务带来风险,例如:
表结构一致的情况下,如在目标库遇到与源库主键或唯一键的值相同的记录,DTS不会保留目标集群中的该条记录,即源库中的该条记录会覆盖至目标数据库中。
表结构不一致的情况下,可能会导致无法初始化数据、只能同步部分列的数据或同步失败,请谨慎操作。
目标库对象名称大小写策略
您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择DTS默认策略,您也可以选择与源库、目标库默认策略保持一致。更多信息,请参见目标库对象名称大小写策略。
源库对象
在源库对象框中单击待同步对象,然后单击
将其移动至已选择对象框。说明同步对象的选择粒度为库或表。
已选择对象
如需更改待同步对象在目标实例中的名称,请右击已选择对象中的同步对象,设置方式,请参见库表列名映射。
若同步类型选中了库表结构同步、待同步对象选择的粒度为表,且需设置分桶数量(
bucket_count参数),请右击已选择对象中同步的表,在参数设置区域将开启参数设置选择为是,并根据实际情况设置参数值,然后单击确定。
说明如需按库或表级别选择增量同步的SQL操作,请在已选择对象中右击待同步对象,并在弹出的对话框中选择所需同步的SQL操作。
如需设置WHERE条件过滤数据,请在已选择对象中右击待同步的表,在弹出的对话框中设置过滤条件。设置方法请参见设置过滤条件。
如果使用了对象名映射功能,可能会导致依赖这个对象的其他对象同步失败。
单击下一步高级配置,进行高级参数配置。
配置
说明
选择调度该任务的专属集群
DTS默认将任务调度到共享集群上,您无需选择。若您希望任务更加稳定,可以购买专属集群来运行DTS同步任务。更多信息,请参见什么是DTS专属集群。
源库、目标库无法连接后的重试时间
在同步任务启动后,若源库或目标库连接失败则DTS会报错,并会立即进行持续的重试连接,默认持续重试时间为720分钟,您也可以在取值范围(10~1440分钟)内自定义重试时间,建议设置30分钟以上。如果DTS在设置的重试时间内重新连接上源库、目标库,同步任务将自动恢复。否则,同步任务将会失败。
说明针对同源或者同目标的多个DTS实例,如DTS实例A和DTS实例B,设置网络重试时间时A设置30分钟,B设置60分钟,则重试时间以低的30分钟为准。
由于连接重试期间,DTS将收取任务运行费用,建议您根据业务需要自定义重试时间,或者在源和目标库实例释放后尽快释放DTS实例。
源库、目标库出现其他问题后的重试时间
在同步任务启动后,若源库或目标库出现非连接性的其他问题(如DDL或DML执行异常),则DTS会报错并会立即进行持续的重试操作,默认持续重试时间为10分钟,您也可以在取值范围(1~1440分钟)内自定义重试时间,建议设置10分钟以上。如果DTS在设置的重试时间内相关操作执行成功,同步任务将自动恢复。否则,同步任务将会失败。
重要源库、目标库出现其他问题后的重试时间的值需要小于源库、目标库无法连接后的重试时间的值。
是否限制全量同步速率
在全量同步阶段,DTS将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。您可以根据实际情况,选择是否对全量同步任务进行限速设置(设置每秒查询源库的速率QPS、每秒全量迁移的行数RPS和每秒全量迁移的数据量(MB)BPS),以缓解目标库的压力。
说明仅当同步类型选择了全量同步,才有此配置项。
您也可以在同步实例运行后,调整全量同步的速率。
是否限制增量同步速率
您也可以根据实际情况,选择是否对增量同步任务进行限速设置(设置每秒增量同步的行数RPS和每秒增量同步的数据量(MB)BPS),以缓解目标库的压力。
环境标签
您可以根据实际情况,选择用于标识实例的环境标签。本示例无需选择。
配置 ETL 功能
选择是否配置ETL功能。关于ETL的更多信息,请参见什么是ETL。
是:配置ETL功能,并在文本框中填写数据处理语句,详情请参见在DTS迁移或同步任务中配置ETL。
否:不配置ETL功能。
监控告警
是否设置告警,当同步失败或延迟超过阈值后,将通知告警联系人。
不设置:不设置告警。
设置:设置告警,您还需要设置告警阈值和告警联系人。更多信息,请参见在配置任务过程中配置监控告警。
可选:上述配置完成后,单击下一步配置库表字段,设置待同步的表在目标中的主键列、分布键和引擎选择信息。该链路引擎选择仅支持选择unique。
说明配置任务对象时同步类型勾选了库表结构同步时才会有本步骤,您可以将定义状态选择为全部后进行修改。
主键列可以是选择多个列组成联合主键,且需要从主键列中选择1个或者多个列作为分布键。
保存任务并进行预检查。
若您需要查看调用API接口配置该实例时的参数信息,请将鼠标光标移动至下一步保存任务并预检查按钮上,然后单击气泡中的预览OpenAPI参数。
若您无需查看或已完成查看API参数,请单击页面下方的下一步保存任务并预检查。
说明在同步作业正式启动之前,会先进行预检查。只有预检查通过后,才能成功启动同步作业。
如果预检查失败,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
如果预检查产生警告:
对于不可以忽略的检查项,请单击失败检查项后的查看详情,并根据提示修复后重新进行预检查。
对于可以忽略无需修复的检查项,您可以依次单击点击确认告警详情、确认屏蔽、确定、重新进行预检查,跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项,可能会导致数据不一致等问题,给业务带来风险。
购买实例。
预检查通过率显示为100%时,单击下一步购买。
在购买页面,选择数据同步实例的计费方式、链路规格,详细说明请参见下表。
类别
参数
说明
信息配置
计费方式
预付费(包年包月):在新建实例时支付费用。适合长期需求,价格比按量付费更实惠,且购买时长越长,折扣越多。
后付费(按量付费):按小时扣费。适合短期需求,用完可立即释放实例,节省费用。
资源组配置
实例所属的资源组,默认为default resource group。更多信息,请参见什么是资源管理。
链路规格
DTS为您提供了不同性能的同步规格,同步链路规格的不同会影响同步速率,您可以根据业务场景进行选择。更多信息,请参见数据同步链路规格说明。
订购时长
在预付费模式下,选择包年包月实例的时长和数量,包月可选择1~9个月,包年可选择1年、2年、3年和5年。
说明该选项仅在付费类型为预付费时出现。
配置完成后,阅读并勾选《数据传输(按量付费)服务条款》。
单击购买并启动,并在弹出的确认对话框,单击确定。
您可在数据同步界面查看具体任务进度。
数据类型映射关系
类别 | SQL Server的数据类型 | SelectDB的数据类型 |
Numeric | BIT | INT |
TINYINT | SMALLINT | |
SMALLINT | SMALLINT | |
INT | INT | |
BIGINT | BIGINT | |
| DECIMAL | |
FLOAT | DOUBLE | |
REAL | DOUBLE | |
MONEY | STRING | |
SMALLMONEY | STRING | |
DATE AND TIME | DATE | DATEV2 |
DATETIME | DATETIMEV2 | |
DATETIME2 | DATETIMEV2 | |
SMALLDATETIME | DATETIMEV2 | |
TIME | STRING | |
DATETIMEOFFSET | DATETIMEV2 | |
TIMESTAMP | STRING | |
STRING |
| VARCHAR(4*N) 重要 CHAR和VARCHAR(n)迁移到SelectDB后会转换为VARCHAR(4*n)。
|
| VARCHAR(4*N) 重要 NCHAR和NVARCHAR(n)迁移到SelectDB后会转换为VARCHAR(4*n)。
| |
| STRING | |
| STRING | |
XML | STRING | |
UNIQUEIDENTIFIER | STRING | |
OTHER | GEOGRAPHY | STRING |
GEOMETRY | STRING | |
| STRING |