LTS(Lindorm Tunnel Service)是面向Lindorm业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向Lindorm的一站式数据生态服务。
核心能力
云原生分布式:LTS是一个基于ECS部署的分布式系统,具备良好的水平扩展能力,用户可以按需进行资源配置。
简单易用:LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务,用户只需要选择源端、目的端和需要同步的列,LTS会自动完成schema复制、全量数据复制和增量数据复制。
安全可靠:LTS充分考虑对源端和目标端系统在线影响最小化,以及兼容可能出现的故障。在任务启动前会有网络联通性、安全性等前置校验,运行过程中会实时监控同步延迟、目标集群存储水位等并有相关的限速和报警,任务结束后还会提供数据校验。
低成本:LTS在HBase、Phoenix、Cassandra等开源系统上有深入的优化,提供物理文件级别的数据处理,比传统的数据复制效率提高10倍。同时在CPU、缓存、内存、网络IO上的整体优化使LTS提供一个高性价比的数据通道,减少客户数据流转、处理的成本。
功能列表
功能 | 场景 | 相关文档 |
HBase、Lindorm宽表之间数据迁移 | 新旧集群无缝迁移、集群升配、在线离线业务分离、主备容灾、异地多活。 | |
RDS -> Lindorm 重要 该功能自2023年3月10日下线,2023年3月10日后购买的LTS不再支持此功能,2023年3月10日前购买的LTS仍可正常使用此功能。 | 在线离线业务分离、历史库。 | 说明 功能下线后您可以使用DMS完成数据同步。如何操作,请参见数据归档至Lindorm。 |
MaxCompute/Hive -> Lindorm | 离线数据查询加速,将数仓中的明细、指标等数据批量回流Lindorm提供在线查询。 | 待补充,目前可联系值班咨询 |
Lindorm 数据导出 ODPS(MaxCompute) 重要 该功能自2023年6月16日下线,2023年6月16日后购买的LTS不再支持此功能,2023年6月16日前购买的LTS仍可正常使用此功能。 | 支持历史数据和增量数据。 | |
LogHub实时数据订阅 重要 该功能自2023年6月16日下线,2023年6月16日后购买的LTS不再支持此功能,2023年6月16日前购买的LTS仍可正常使用此功能。 | 支持订阅LogHub实时数据到Lindorm。 | |
Lindorm 数据订阅 | 支持Lindorm实时增量数据订阅。 |
日志生命周期管理说明
开启日志订阅后,如果不消费数据,默认日志会保留48小时,超时后订阅关系自动取消,保留的数据自动删除。
什么场景会导致“不消费数据”:没有终止任务的前提下直接释放LTS集群,同步任务暂停。
使用日志订阅的任务类型:HBase/Lindorm增量同步、数据归档、数据备份和数据订阅。
典型场景
集群迁移
使用范围
HBase迁移Lindorm。
集群网络的切换,经典切换VPC。
异地跨机房迁移。
业务拆分。
特点
不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。
迁移过程中不会和源集群的HBase、Lindorm交互,只读取源集群的HDFS,尽可能减少对源集群在线业务的影响。
文件层的数据拷贝比通常API层的数据迁移通常能节省50%以上的流量。
高效性,单个节点迁移速度可达到100 MB/s,节点数支持水平扩展,能够满足支持TB、PB级别的数据迁移。
稳定性,有完善的错误重试机制,实时监控任务速度和进度,支持任务失败报警。
正确性,能够进行数据校验。
支持自动同步schema,保证分区一致。
在线离线业务分离
通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。
主备容灾
通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群,尽可能减少对业务产生的影响,当主集群服务恢复之后,通过LTS同步服务补齐主集群遗漏的数据。
RDS历史库建设
对于交易订单等存储场景,随着数据量增大会对RDS造成性能压力,周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到Lindorm宽表实现冷热数据分离,Lindorm宽表提供自动水平扩展、高并发查询、多维索引、轻量分析,Lindorm Streams提供变更数据有序订阅,LTS还支持将Lindorm 宽表数据同步到其它分析系统进行复杂数据分析。