什么是数据传输服务DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力,致力于在多种数据源之间,构建安全、可靠、高性能的数据流动链路,以满足业务上云、异地灾备和实时数仓等多样化场景需求。

视频简介

核心能力

DTS围绕数据的流动,提供了丰富且强大的核心能力,覆盖从数据迁移、实时同步到增量订阅等多种场景。这些能力可以归纳为以下几大类型:

功能类型

主要能力

适用场景

数据传输

数据迁移

将数据从一个数据源一次性地迁移至另一个数据源。支持同构和异构数据库,可实现在业务不停服的情况下进行数据迁移,将停机时间降至分钟级。

业务上云、数据库搬迁等。

数据同步

在不同数据源之间建立实时、持续的数据同步链路,可以实现数据库之间的对等同步(支持单向或双向),从而构建高可用或高性能的数据架构。同时,提供额外的数据投递链路,支持使用SDK将各种类型的增量数据(如日志数据或其他特殊数据类型)投递至指定数据源。

版本升级、数据拆分或扩容、异地多活、异地灾备、跨境同步、查询报表分流、构建实时数据仓库等。

数据订阅

实时捕获源数据库的增量变化数据(如INSERT/UPDATE/DELETE操作),供下游应用按需消费。

缓存更新策略、业务逻辑异步解耦、为复杂ETL或异构数据源同步提供实时数据流。

数据加工

在数据流动过程中,对流式数据进行实时的抽取(Extract)、转换(Transform)和加载(Load)。

满足实时数据清洗、格式转换、字段增删等数据处理和计算需求。

数据校验

支持在数据迁移或同步任务中,或创建独立的数据校验任务,对比源端和目标端的数据,以验证数据的一致性。

作为一项保障能力,帮助您及时发现并定位数据不一致问题,确保数据传输的准确性。

产品优势

相较于传统的数据迁移或同步工具,DTS提供的服务功能更丰富、性能更强、易用性更高且安全可靠,可帮助您简化复杂的数据交互工作。DTS的主要优势如下:

  • 兼容性强

    • 异构数据源支持: 支持关系型数据库(如MySQL、PostgreSQL、SQL Server、Oracle)、NoSQL数据库(如MongoDB、Redis)以及大数据仓库(如AnalyticDB、MaxCompute)等多种数据源之间的数据传输。详细信息,请参考支持的数据库

    • 跨环境无缝连接: 支持云上(如云数据库 RDS、云原生数据库 PolarDB)、本地IDC自建数据库、以及其他云厂商数据库之间的自由流转,实现混合云、多云架构下的数据协同。

    • 支持跨账号协同: 为了满足企业级的复杂协作需求,DTS同样支持配置跨阿里云账号的任务。您只需配置RAM授权,即可安全地打通不同账号间的数据壁垒,实现集团内部或跨部门的数据统一管理与流转。

    • 灵活的网络拓扑: 支持公网、专线、VPN网关、智能网关等多种网络接入方式,适应企业复杂的网络环境。

  • 功能丰富

    • 提供数据迁移、数据同步和数据订阅等多种传输方式。对于异构数据源的迁移,DTS支持结构定义(库表结构)的转化。

    • 实时同步功能支持单向或双向同步,可应用于异地灾备、异地多活和实时数据仓库等多种场景。

  • 简单易用

    DTS提供了可视化的管理界面和引导式的链路创建流程,使您能够轻松地创建和管理传输链路。控制台会展示链路的传输状态、进度及性能等相关信息。此外,DTS还具备链路断点续传和自动修复重启功能,有效应对网络或系统异常。

  • 高性能

    DTS采用高规格服务器以确保传输性能。在数据迁移方面,通过对底层进行多项性能优化,全量数据迁移的峰值性能可达到70 MB/s。在实时同步方面,DTS能够将并发粒度缩小至事务级别,峰值性能可达30,000 RPS。同时,DTS支持多并发压缩传输,以降低带宽的占用。

  • 安全可靠

    DTS 底层采用服务集群架构,单个节点故障可实现快速切换,从而确保链路的高稳定性。服务内部提供7x24小时的数据准确性校验,并通过安全传输协议、安全 Token认证及 SSL加密等手段保障数据传输的可靠性与安全性。在跨境、跨地域同步场景中,DTS使用专线网络进行隔离,进一步增强了数据的安全性。

  • 不停机迁移

    您能够在源数据库持续运行的情况下实施数据迁移,从而将业务应用的停机时间缩短至分钟级别。

应用场景

  • 不停机数据库上云迁移

    将本地IDC的数据库(如MySQL、Oracle)或ECS上的自建数据库迁移至阿里云RDS、PolarDB等云数据库时,为避免业务长时间中断,可使用数据迁移功能。该功能通过全量迁移+增量同步的方式,在业务不停止写入的情况下完成数据迁移,即可将应用切换至新的云数据库。

  • 构建异地多活与灾备架构

    为实现核心业务系统的高可用和异地容灾,可在不同地域的数据库实例间建立实时双向同步。推荐使用数据同步功能。它能确保任意一端的数据变更都能实时同步至另一端,当单地域发生故障时,业务流量可迅速切换至另一数据中心,保障业务连续性。

  • 实时数仓ETL与缓存更新

    当业务数据发生变化,需要实时更新下游的分析型数仓(如AnalyticDB、ClickHouse)或Redis缓存时,可使用数据订阅功能。DTS会捕获源库的增量日志(Binlog、WAL等),并将其转化为结构化的JSON格式数据流。应用程序可消费此数据流,写入数仓或直接更新缓存,实现数据链路的实时解耦。

  • 实时数据清洗与格式化

    在将生产库数据同步至分析库或测试环境时,往往需要对数据进行处理。例如,对客户的手机号或身份证等敏感信息进行脱敏处理,或将源库中的姓与名两个字段合并为目标库中的一个全名字段。此时可使用数据加工功能,在数据传输过程中实时完成这些转换,无需在目标端进行二次开发,简化了数据链路并保障了数据安全。

  • 数据一致性校验

    在完成一次重要的数据库迁移后,或在长期的异地灾备同步过程中,为确保数据一致性,可使用数据校验功能。它能自动对全量或指定范围的数据进行比对,并生成详细的校验报告,明确指出哪些表、哪些行存在数据差异。这为迁移后的业务切换提供了数据层面的信心保障,也为长期同步链路的健康度提供了监控手段,让潜在的数据不一致问题无处遁形。

开始使用DTS

  1. 根据您的业务场景,明确适用的产品功能

  2. 查看您的数据库在当前产品功能下是否支持进行数据迁移、同步或订阅

  3. 创建DTS任务。您可以通过可视化的数据传输服务控制台进行任务创建,同时,也可以使用APISDK进行创建。

更多信息

深入了解

  • DTS系统架构与核心功能工作原理,请参见产品架构

  • DTS各传输链路性能,请参见规格说明

  • DTS文档中相关名词和术语,请参见基本概念

智能助手

DTS Insight:DTS为您提供的智能化运维助手,可帮助您更好地了解和使用DTS产品及服务,同时,它能够实时监控任务的运行状态,并在任务出现异常时协助您进行修复。

常见问题

数据迁移和数据同步有什么区别?如何选择?

  • 目的不同

    • 数据迁移用于一次性地将数据从源库迁移至目标库,迁移完成后源库通常不再使用。

    • 数据同步用于在两个数据源之间建立长期、持续的数据复制,使两者保持动态一致。

  • 功能不同

    • 数据迁移核心是保证最终数据的一致性,流程结束后任务即停止。

    • 数据同步是长期运行的任务,提供双向同步、冲突解决等更复杂的功能。

  • 选型建议

    • 目标为上云、更换数据库或机房搬迁的场景,选择数据迁移

    • 构建异地多活、灾备或读写分离架构的场景,选择数据同步

DTS的费用是如何计算的?

DTS的费用主要由两部分组成:任务实例费用公网/数据流量费用。不同任务类型的收费规则不同,具体信息,请参考计费项