数据迁移
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
同构迁移 |
逻辑迁移 |
支持同构数据库间的数据迁移。 |
自建MySQL迁移至RDS MySQL |
|
物理迁移 |
通过物理网关将自建数据库迁移上云。 |
||
|
异构迁移 |
逻辑迁移 |
支持异构数据库间的数据迁移。 |
|
|
切流 |
数据库上云割接 |
数据库割接用于帮助用户在完成数据库评估、应用评估改造后，将业务最终平滑地迁移到云上数据库。 |
数据库割接 |
|
周期性任务 |
定时全量迁移 |
通过数据集成功能的调度策略配置，定期地将源库中的结构和存量数据迁移至目标库中。 |
配置RDS MySQL间的数据集成任务 |
|
账号迁移 |
全量账号迁移 |
在配置同步或迁移任务过程中启用账号迁移功能，帮助您方便快捷地将源库的账号（包含密码和权限）迁移至目标库。 |
迁移数据库账号 |
数据同步
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
同步链路管理 |
一键反向容灾切换 |
为正常运行的同步实例一键创建反向增量同步实例。 |
创建反向实例 |
|
容灾&多活 |
双向同步 |
支持创建两个数据库之间（比如RDS MySQL与自建MySQL）的双向数据实时同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。 |
|
|
一键调转正反向同步 |
支持将双向同步实例的方向进行调转。在业务场景需要进行主备数据库切换或双云切换时，您可以轻松地调整已有双向同步实例的方向，而无需重新配置实例。 |
调转双向同步实例方向 | |
|
全球多活数据库集群GAD |
支持通过RDS+DTS构建全球多活数据库集群，实现数据库容灾保护的同时，为用户提供就近访问的服务体验。 |
什么是全球多活数据库集群 | |
|
同步拓扑管理 |
支持对同步任务的同步拓扑进行升级，将单向同步任务升级为双向同步任务，以满足不断发展的业务需求。 |
单向同步升级至双向同步 | |
|
冲突策略管理 |
冲突检测 |
支持对INSERT导致的唯一性冲突、UPDATE更新的记录不完全匹配、DELETE对应的记录不存在进行冲突检测。 |
- |
|
冲突处理 |
支持TaskFailed（遇到冲突，任务报错退出）、Ignore（遇到冲突，直接使用目标实例中的冲突记录）、Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）三种冲突修复策略。 |
- |
|
|
异构同步 |
实时数仓同步 |
支持将数据同步到实时数仓中，帮助您完成高吞吐离线处理和高性能在线分析。 |
RDS MySQL同步至AnalyticDB MySQL 3.0 |
|
非数据库同步 |
支持将数据同步至函数计算FC的指定函数。您可以编写函数代码，对数据进行二次加工。 |
||
|
异构数据库同步 |
支持异构数据库间的数据同步。 |
||
|
数据投递 |
数据投递通道 |
通过创建数据投递实例打通数据投递通道，以便后续使用SDK将数据源投递到DTS。 |
创建数据投递实例 |
|
数据投递SDK |
通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。 |
使用SDK将源端数据投递到DTS | |
|
同构同步 |
逻辑同构实时同步 |
支持同构数据库间的数据同步。 |
自建MySQL同步至RDS MySQL |
数据订阅
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据订阅 |
数据订阅通道 |
创建数据订阅实例，获取数据库的实时增量数据变更。 |
订阅方案概览 |
|
数据订阅SDK |
支持使用SDK客户端示例代码、flink-dts-connector、Kafka客户端示例代码打印订阅数据，用于SDK客户端、Flink客户端、Kafka客户端消费数据订阅通道中的数据。 |
消费订阅数据 | |
|
数据订阅流量管理 |
数据订阅实例的源库为MySQL时，支持通过配置费用的类型选择是否收取数据流量费用。 |
任务管理
DTS任务管理
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
任务管理 |
任务创建与配置 |
支持创建多种数据源之间的数据传输任务，且支持先配置再购买和先购买再配置两种创建任务方式。 |
|
|
任务调度 |
DTS默认将任务调度到共享集群上，支持在高级配置阶段选择调度该任务的专属集群。 |
- |
|
|
任务监控 |
在控制台通过DTS实例获取到任务的链路状态信息和多种性能指标，为您管理任务提供参考依据。 |
监控任务性能 | |
|
任务诊断 |
通过检查源库、目标库、网络和DTS在增量迁移时的性能，提供诊断结果和建议。 |
||
|
任务修改 |
支持管理实例的环境标签，支持在数据同步实例运行过程中新增或移除同步对象，支持修改同步或迁移实例的ETL配置。 |
||
|
任务删除 |
对于已完成数据传输任务且无需保留配置信息的DTS实例，您可以手动释放按量付费实例或退订包年包月实例，以避免产生额外的费用。 |
释放DTS实例 | |
|
跨账号访问 |
支持配置源库或目标库跨阿里云账号的任务，适用于阿里云账号间的资源迁移或合并、业务架构调整等多种应用场景。 |
跨阿里云账号实现数据传输 | |
|
混合云跨云访问 |
以公网IP的方式接入数据库，实现不同属性账号之间（如公共云和金融云账号之间）的数据迁移。 |
公共云与金融云间的数据迁移 | |
|
操作审计 |
通过查询实例的操作日志信息，获取对实例的操作、操作结果及操作者的信息。 |
查询实例操作日志 | |
|
数据连接管理 |
支持录入数据库信息，在配置任务时可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需再手动输入。 |
数据连接管理 | |
|
OpenAPI |
POP接口 |
支持在OpenAPI门户调用接口进行调试。 |
使用OpenAPI |
|
SDK |
支持使用SDK开发包调用接口。 |
使用OpenAPI示例 | |
|
Terraform |
支持开源工具Terraform。 |
Resources | |
|
网络管理 |
跨Region打通 |
支持源库地域与目标库地域不同的数据传输。 |
跨境和跨地域 |
|
传输压缩 |
DTS链路支持多并发压缩传输，降低传输链路对带宽的占用。 |
产品优势 | |
|
私网域名接入 |
通过专有网络VPC接入源库或目标库时，支持使用私网域名连接数据库。 |
专线、VPN网关或智能网关接入的自建MySQL同步至RDS MySQL | |
|
数据库网关DG |
支持以数据库网关DG的方式将数据库接入到DTS。 |
过数据库网关将本地IDC或第三方云的数据库接入至阿里云 | |
|
公网流量打通 |
支持以公网IP的方式将数据库接入到DTS。 |
添加DTS服务器的IP地址段 | |
|
跨境传输 |
默认仅支持非跨境的数据同步任务，若您需要创建跨境的数据同步任务，需要申请开通跨境同步的权限。 |
||
|
事件中心 |
事件通知 |
通过云监控平台的事件订阅对重要的事件设置定制化的报警通知，让您及时了解事件的发生与进展，帮助您实时掌握事件动态，便于您在业务故障时快速分析并定位问题。 |
订阅事件通知 |
|
主动运维平台 |
支持运维事件报警功能，当系统检测到可能会导致DTS实例无法正常运行的风险时会触发相应的运维事件，并会通过控制台、邮件或站内消息等方式进行通知。 |
管理运维事件 | |
|
Serverless |
Serverless实例管理 |
支持对Serverless实例进行暂停实例、查看指标数据、修改DU上下限等操作。 |
管理Serverless实例 |
|
专属集群 |
DU管理 |
支持查看专属集群DU的创建和使用信息，修改专属集群任务的DU数以调整该任务的规格。 |
|
|
磁盘变配 |
当专属集群的磁盘使用率过高，无法满足当前业务需求时，您可以对专属集群进行磁盘扩容操作，以确保当前专属集群的磁盘空间与您的业务需求相匹配。 |
扩容专属集群节点磁盘空间 | |
|
共享集群专属集群互迁 |
支持修改实例运行的集群，即将实例从专属集群迁移到公共集群，或者从公共集群迁移到专属集群。 |
专属集群与公共集群实例间的迁移 | |
|
专属集群实例管理 |
支持对专属集群进行手动续费、变更节点配置、设置超配比等操作。 |
管理DTS专属集群 | |
|
安全性 |
数据加密 |
支持以SSL安全连接的方式连接数据库。 |
RDS MySQL实例间的同步 |
|
操作隔离 |
支持使用最小权限的RAM身份（即RAM用户和RAM角色）来访问数据传输服务DTS，以提高数据安全性，减少因权限滥用导致的安全风险。 |
身份管理 | |
|
账号权限管控 |
通过授权系统权限策略，访问当前云账号下的RDS、ECS等云资源；通过足够权限的数据库账号，完成相应的数据传输任务。 |
||
|
可靠性 |
集群高可用 |
使用高规格服务器来保证每条迁移或同步链路都能拥有良好的传输性能。 |
产品优势 |
|
断点续传 |
具有自动断点续传机制，有效地保证数据传输的可靠性。 |
产品优势 | |
|
数据源容灾守护 |
源库或目标库无法连接或出现其他问题时，DTS支持立即进行持续的重试操作。 |
- |
数据集成
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
读写分离与分流 |
TP实时缓存 |
支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至云原生内存数据库Tair或云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。 |
|
|
元信息过滤与映射 |
库表列过滤 |
在配置任务对象时，支持以库、表、列的粒度的选择任务对象。 |
- |
|
DDL&DML过滤 |
在配置同步或迁移任务对象时，支持使用SQL操作来过滤需要进行增量同步或迁移的数据。 |
- |
|
|
库表列名映射 |
在配置同步或迁移任务对象时，支持设置任务对象（库、表、列）在目标库实例中的名称。您可以使用此功能将数据同步或迁移到目标库实例的指定对象中，或在目标库实例中创建一个与任务对象结构相同但名称不同的对象。 |
库表列名映射 | |
|
拓扑映射 |
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。 |
数据同步拓扑介绍 | |
|
数据过滤处理与映射 |
WHERE条件过滤 |
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。 |
设置过滤条件 |
|
数据类型映射 |
在进行异构数据库之间的数据同步或迁移时，会在结构同步或迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。 |
数据校验
数据校验是DTS提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
同构校验 |
元数据校验 |
支持对同构数据的结构进行校验。 |
什么是数据校验 |
|
全量数据校验 |
支持对同构数据库的存量数据进行校验。 |
什么是数据校验 | |
|
增量数据校验 |
支持对同构数据库间的增量同步或迁移数据校验。 |
什么是数据校验 | |
|
异构校验 |
元数据等效校验 |
支持对异构数据的结构进行校验。 |
什么是数据校验 |
|
全量数据校验 |
支持对异构数据库的存量数据进行校验。 |
什么是数据校验 | |
|
增量数据校验 |
支持对异构数据库间的增量同步或迁移数据校验。 |
什么是数据校验 | |
|
订正 |
元数据订正 |
当校验出数据结构不一致时，可以根据校验结果进行订正。 |
|
|
全量数据订正 |
当校验出全量数据不一致时，可以根据校验结果并下载订正SQL进行订正。 |
查看数据校验详情 | |
|
增量数据订正 |
当校验出增量数据不一致时，可以根据校验结果进行订正。 |
查看数据校验详情 |
场景化解决方案产品
DTS场景化解决方案产品
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
ZeroETL |
PolarDB MySQL版同步至AnalyticDB MySQL 3.0 |
联邦分析使用AnalyticDB MySQL的免费高速数据管道服务（APS）将PolarDB MySQL中的数据实时同步至AnalyticDB MySQL湖仓版（3.0）集群中，帮助您一站式完成数据同步与管理。 |
通过联邦分析功能同步至湖仓版 |