LTS(原BDS)服务介绍

LTS(Lindorm Tunnel Service,原BDS)是面向云HBase业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向云HBase的一站式数据生态服务。

核心能力

  • 云原生分布式:LTS是一个基于ECS部署的分布式系统,具备良好的水平扩展能力,用户可以按需进行资源配置

  • 简单易用:LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务,用户只需要选择源端、目的端和需要同步的列,LTS会自动完成Schema复制、全量数据复制和增量数据复制。

  • 安全可靠:LTS充分考虑对源端和目标端系统在线影响最小化,以及兼容可能出现的故障。在任务启动前会有网络联通性、安全性等前置校验,运行过程中会实时监控同步延迟、目标集群存储水位等并有相关的限速和报警,任务结束后还会提供数据校验。

  • 低成本:LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化,提供物理文件级别的数据处理,比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道,减少客户数据流转、处理的成本。

功能列表

功能

场景

使用链接

HBase <-> HBase

新旧集群无缝迁移、集群升配、在线离线业务分离、主备容灾、异地多活

全增量数据同步

RDS -> HBase、Phoenix

重要

该功能自2023年3月10日下线,2023年3月10日后购买的LTS不再支持此功能,2023年3月10日前购买的LTS仍可正常使用此功能。

在线离线业务分离、历史库

RDS全增量同步

HBase 数据导出 ODPS(MaxCompute)

支持历史数据和增量数据

全量导出MaxCompute

增量归档MaxCompute

SLS-> HBase

支持订阅SLS实时数据到HBase

日志服务(SLS)增量导入

HBase增量数据订阅

支持云HBase增强版实时订阅

使用指南

日志生命周期管理说明

  • 开启日志订阅后,如果不消费数据,默认日志会保留48小时,超时后订阅关系自动取消,保留的数据自动删除

  • 什么场景会导致“不消费数据”:没有终止任务的前提下直接释放LTS集群;同步任务暂停;

  • 使用日志订阅的任务类型:HBase/Lindorm增量同步;数据归档;数据备份;数据订阅

典型场景

  • 不停机迁移(HBase1.x、HBase2.x、HBase增强版、Phoenix4.x、Phoenix5.x)

    • 不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。

    • 迁移过程中不会和源集群的HBase交互,只读取源集群的HDFS,尽可能减少对源集群在线业务的影响。

    • 文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。

    • 高效性,单个节点迁移速度可达到100MB/s,节点数支持水平扩展,能够满足支持TB、PB级别的数据迁移。

    • 稳定性,有完善的错误重试机制,实时监控任务速度和进度,支持任务失败报警。

    • 正确性,能够进行数据校验。

    • 支持自动同步Schema,保证分区一致。

  • 在线离线业务分离

    • 通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。

  • 主备容灾

    • 通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群,尽可能减少对业务产生的影响,当主集群服务恢复之后,通过LTS同步服务补齐主集群遗漏的数据。

  • RDS历史库

    • 对于交易订单等存储场景,随着数据量增大会对RDS造成性能压力,周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到云HBase实现冷热数据分离,云HBase提供自动水平扩展、高并发查询、多维索引、轻量分析,Streams提供变更数据有序订阅,LTS还支持将云HBase数据同步到其它分析系统进行复杂数据分析。