全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
数据传输服务DTS

使用场景

更新时间:2017-07-12 14:01:30

数据传输(Data Transmission)服务DTS支持数据迁移、数据实时订阅及数据实时同步等多种功能,通过数据传输可以帮助您满足下面多种典型应用场景。

不停服迁移,系统迁移时业务停服时间降低到分钟级别

很多用户希望系统迁移时,尽可能不影响业务提供服务。然而在系统迁移过程中,如果业务不停服,那么迁移数据就会发生变化,无法保证迁移数据的一致性。为了保证迁移数据一致性,很多第三方迁移工具,要求在数据迁移期间,应用停止服务。整个迁移过程,业务可能需要停服数小时甚至上天,这对业务伤害极大。

为了降低数据库迁移门槛, 数据传输提供不停服迁移解决方案,让数据迁移过程中,业务停服时间降低到分钟级别。

不停服迁移的实现原理详见下图。

不停服迁移

不停服迁移的迁移类型需包含结构迁移、全量数据迁移及增量数据迁移三个阶段。当进入增量数据迁移阶段时,目标实例会保持跟源数据库之间的数据实时同步,用户可以在目标数据库进行业务验证,当验证通过后,直接将业务切换到目标数据库,从而实现整个系统迁移。

由此可见,在整个迁移过程中,只有当业务从源实例切换到目标实例期间,会产生业务闪断,其他时间业务均能正常服务。

数据异地灾备,地区故障对服务无影响

由于地区断电、断网等客观原因,产品可用性并不能达到100%。当出现这些故障时,如果用户业务部署在单个地区,那么就会因为地区故障导致服务不可用,且不可用时间完全依赖故障恢复时间。

为了解决地区故障导致的服务不可用,提高服务可用性,可以在构建异地灾备中心。当业务中心发生地区故障时,直接将业务流量切换到灾备中心,立刻恢复服务。数据灾备架构如下图。

异地灾备

如图所示,当业务部署在杭州时,在异地(例如北京)构建灾备中心。灾备中心同业务中心的数据库通过数据传输进行数据实时同步,当业务中心故障时,可以保证数据灾备的数据完整性。

异地多活,保证服务高可用

随着业务的快速发展,对于很多公司来说,构建于单地域的技术体系架构,会面临诸如下面的多种问题:
(1) 由于单地域底层基础设施的有限性限制了业务的可扩展性,例如城市供电能力,网络带宽建设能力等。
(2) 出现城市级别的故障灾害时,无法保证服务的可持续性,服务难以实现高可用。
(3) 用户分布比较广的业务,远距离访问延迟高,严重影响用户体验。

为解决企业遇到的这些问题,用户可以选择构建异地多活架构,在同城/异地构建多个单元(业务中心)。根据业务的某个维度将业务流量切分到各个单元(例如:电商的买家维度)。各个业务单元可以分布在不同的地域,从而有效解决了单地域部署带来的基础设施的扩展限制问题。

各个单元之间的数据层通过DTS的双向同步进行全局同步,保证全局数据一致。当任何一个单元出现故障时,只要将这个单元的流量切到其他单元即可在完成业务的秒级恢复,从而有效保证了服务的可持续性。

异地多活架构的单元可以根据用户分布选择部署区域,业务上可以按照用户所属区域划分单元流量,实现用户就近访问,避免远距离访问,降低访问延迟,提升用户访问体验。

异地多活架构

加速全球化业务访问速度,为跨境业务赋能

对于用户分布比较广的业务,例如全球化业务,如果按照传统架构,只在单地区部署服务,那么其他地区的用户需要跨地区远距离访问服务,导致访问延迟大,用户体验差的问题。为了加速全球化业务访问速度,优化访问体验,可以将架构调整如下。

降低跨地区访问延迟

在这个架构中,我们定义了中心和单元的概念,所有地区用户的写请求全部路由回中心。通过数据传输将中心的数据实时同步到各个单元,各个地区的用户的读请求,可以路由到就近的单元,从而避免远距离访问,降低访问延迟,加速全球化访问速度。

云BI,快速搭建定制化BI系统

由于自建BI系统的复杂性,自建BI不能满足越来越高的实时性要求,或是因为阿里云已经提供了非常完善的BI体系,可以在不影响现有架构的情况下快速搭建BI系统等原因,越来越多的用户选择在阿里云上搭建满足自身业务定制化要求的BI系统。
数据传输DTS可以帮助用户将本地自建DB的数据实时同步到阿里云的BI存储系统(例ODPS、ADS或流计算),然后,用户使用各种计算引擎进行后续的数据分析,同时可以通过可视化工具进行计算结果的实时展示,或通过迁移工具将计算结果同步回本地IDC,具体实现架构如下:

 云BI

数据实时分析,快速抢占商业先机

数据分析在提高企业洞察力和用户体验方面发挥着举足轻重的作用,且实时数据分析能够让企业更快速、灵活得调整市场策略,适应快速变化的市场方向及消费者体验。为了在不影响线上业务的情况下实现实时数据分析,需要将业务数据实时同步到分析系统中,由此可见,实时获取业务数据必不可少。数据传输提供的数据订阅功能,可以在不影响线上业务的情况下,帮助您获取业务的实时增量数据,通过SDK可将其同步至分析系统中进行实时数据分析。

大数据分析

其中RDS到ADS数据实时同步的更多内容详见使用阿里云数据传输实时同步RDS的数据

轻量级缓存更新策略,让核心业务更简单可靠

为了提高业务访问速度,提升业务读并发,很多用户都会在业务架构中引入缓存层。业务所有读请求全部路由到缓存层,通过缓存的内存读取机制大大提升业务读取性能。缓存中的数据不能持久化 ,一旦缓存异常退出,那么内存中的数据就会丢失,所以为了保证数据完整,业务的更新数据会落地到持久化存储中,例如DB。

如上所述,业务会遇到缓存跟持久化DB数据同步的问题。数据传输DTS提供的数据订阅功能,可以通过异步订阅DB的增量数据,并更新缓存的数据,实现轻量级的缓存更新策略。这种策略的架构如下。

缓存更新策略

这种缓存更新策略的优势在于:

  1. 更新路径短,延迟低

    缓存失效为异步流程,业务更新DB完成后直接返回,不需要关心缓存失效流程,整个更新路径短,更新延迟低。

  2. 应用简单可靠

    应用无需实现复杂双写逻辑,只需启动异步线程监听增量数据,更新缓存数据即可。

  3. 应用更新无额外性能消耗

    因为数据订阅是通过解析DB的增量日志来获取增量数据,获取数据的过程对业务、DB性能无损。

业务异步解耦,让核心业务更简单可靠

通过数据订阅,可以将深耦合业务优化为通过实时消息通知实现的异步耦合,让核心业务逻辑更简单可靠。这个应用场景在阿里巴巴内部得到了广泛的应用,目前淘宝订单系统每天有上万个下游业务,通过数据订阅获取订单系统的实时数据更新,触发自身的变更逻辑。

下面举个简单的逻辑,描述下整个应用场景的优势。

例如电商行业,涉及下单系统、卖家库存、物流发货等多个业务逻辑。如果将这些逻辑全部在下单流程中,那么下单流程为:用户下单,系统通知卖家库存,物流发货等下游业务进行逻辑变更,当全部变更完成后,返回下单结果。这种下单逻辑存在如下问题:

  • 下单流程长、时间长,用户体验差
  • 系统稳定性差,任何一个下游发生故障,直接影响下单系统的可用性

为了提升核心应用用户体验,提高稳定性,可以将核心应用、跟依赖的下游业务异步解耦。让核心应用更稳定可靠。具体调整如下图:

消息通知

下单系统只要下完单就直接返回,底层通过数据传输实时获取订单系统的变更数据,业务通过SDK订阅这个变更数据,并触发库存、物流等下游业务逻辑。由此,保证下单系统的简单可靠。

读能力横向扩展,快速适应业务发展

对于有大量读请求的应用场景,单个RDS实例可能无法承担全部的读取压力, 甚至可能对主流程业务产生影响。为了实现读取能力的弹性扩展,分担数据库压力,可以使用数据传输服务的实时同步功能构建只读实例,利用这些只读实例承担大量的数据库读取工作负载,从而方便得扩展了应用的吞吐量。

本文导读目录