LTS(原BDS)服务介绍

LTS(Lindorm Tunnel Service)是面向Lindorm业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向Lindorm的一站式数据生态服务。

核心能力

  • 云原生分布式:LTS是一个基于ECS部署的分布式系统,具备良好的水平扩展能力,用户可以按需进行资源配置。

  • 简单易用:LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务,用户只需要选择源端、目的端和需要同步的列,LTS会自动完成schema复制、全量数据复制和增量数据复制。

  • 安全可靠:LTS充分考虑对源端和目标端系统在线影响最小化,以及兼容可能出现的故障。在任务启动前会有网络联通性、安全性等前置校验,运行过程中会实时监控同步延迟、目标集群存储水位等并有相关的限速和报警,任务结束后还会提供数据校验。

  • 低成本:LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化,提供物理文件级别的数据处理,比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道,减少客户数据流转、处理的成本。

功能列表

功能

场景

相关文档

HBase、Lindorm宽表之间数据迁移

新旧集群无缝迁移、集群升配、在线离线业务分离、主备容灾、异地多活。

全增量数据同步

RDS -> Lindorm

重要

该功能自2023年3月10日下线,2023年3月10日后购买的LTS不再支持此功能,2023年3月10日前购买的LTS仍可正常使用此功能。

在线离线业务分离、历史库。

RDS全增量同步

说明

功能下线后您可以使用DMS完成数据同步。如何操作,请参见数据归档至Lindorm

MaxCompute/Hive -> Lindorm

离线数据查询加速,将数仓中的明细、指标等数据批量回流Lindorm提供在线查询。

待补充,目前可联系值班咨询

Lindorm 数据导出 ODPS(MaxCompute)

重要

该功能自2023年6月16日下线,2023年6月16日后购买的LTS不再支持此功能,2023年6月16日前购买的LTS仍可正常使用此功能。

支持历史数据和增量数据。

全量导出MaxCompute增量归档MaxCompute

LogHub实时数据订阅

重要

该功能自2023年6月16日下线,2023年6月16日后购买的LTS不再支持此功能,2023年6月16日前购买的LTS仍可正常使用此功能。

支持订阅LogHub实时数据到Lindorm。

日志服务(SLS)增量导入

Lindorm 数据订阅

支持Lindorm实时增量数据订阅。

Lindorm Stream

日志生命周期管理说明

  • 开启日志订阅后,如果不消费数据,默认日志会保留48小时,超时后订阅关系自动取消,保留的数据自动删除。

  • 什么场景会导致“不消费数据”:没有终止任务的前提下直接释放LTS集群,同步任务暂停。

  • 使用日志订阅的任务类型:HBase/Lindorm增量同步、数据归档、数据备份和数据订阅。

典型场景

  • 集群迁移

    • 使用范围

      • HBase迁移Lindorm。

      • 集群网络的切换,经典切换VPC。

      • 异地跨机房迁移。

      • 业务拆分。

    • 特点

      • 不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。

      • 迁移过程中不会和源集群的HBase、Lindorm交互,只读取源集群的HDFS,尽可能减少对源集群在线业务的影响。

      • 文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。

      • 高效性,单个节点迁移速度可达到100 MB/s,节点数支持水平扩展,能够满足支持TB、PB级别的数据迁移。

      • 稳定性,有完善的错误重试机制,实时监控任务速度和进度,支持任务失败报警。

      • 正确性,能够进行数据校验。

      • 支持自动同步schema,保证分区一致。

  • 在线离线业务分离

    通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。

  • 主备容灾

    通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群,尽可能减少对业务产生的影响,当主集群服务恢复之后,通过LTS同步服务补齐主集群遗漏的数据。

  • RDS历史库建设

    对于交易订单等存储场景,随着数据量增大会对RDS造成性能压力,周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到Lindorm宽表实现冷热数据分离,Lindorm宽表提供自动水平扩展、高并发查询、多维索引、轻量分析,Lindorm Streams提供变更数据有序订阅,LTS还支持将Lindorm 宽表数据同步到其它分析系统进行复杂数据分析。