方案亮点:统一平台、千万高并发查询、毫秒级点查响应、复杂检索多维查询、无感冷热分层、节省计算资源。
业务挑战
每日处理超7,500万笔物流订单,每笔订单每日至少新增1条轨迹记录,海量轨迹数据需高效处理。
系统需要同时满足高并发场景下的毫秒级响应查询、用户/商家等多维度组合检索、以及站点与快递员的精细化绩效分析等复杂业务需求。
满足业务需求的同时,需要控制系统架构复杂度和开发运维成本。
解决方案
Lindorm的一站式方案给申通的轨迹数据处理架构进行了“大瘦身”,在数据存储和处理上,只需要存储一份数据即可,数据在系统内部链路无缝流转,通过多种任务负载满足不同的数据处理需求;在开发使用上,一套标准SQL进一步简化了开发难度;在成本方面,Lindorm通过独立的TTL、自动冷热分离和自适应压缩等能力,帮助申通大幅降低了存储成本。
运单号快速查询:宽表引擎支持千万高并发查询,毫秒级点查响应
Lindorm相比HBase进行了大量的查询优化,在持久存储层支持可检索编码,在内存存储层实现高并发无锁跳表,从而大幅提升随机读性能,确保在大量用户同时查询时仍能快速返回结果。宽表引擎可高效处理10万件包裹的高并发查询请求,查询速度较原始方案提升5倍。
批量查询:二级索引支持根据非主键快速查询
Lindorm宽表引擎通过全局二级索引实现高效查询加速,支持单表创建多个物理独立的索引表,每个索引可配置专属存储策略。主表写入时自动同步所有索引并保障数据强一致,查询时智能路由基于WHERE条件和SCHEMA自动选择最优索引(支持HINT干预),用户仅需操作主表即可获得毫秒级多维度检索能力。
在索引场景下,Lindorm的BatchPut/Put/Get/Scan性能分别达到开源Phoenix的3.5倍、2.2倍、6倍和5.7倍。
包裹属性过滤查询:搜索索引能力支持根据多属性进行多维查询
Lindorm宽表引擎的搜索索引深度融合Elasticsearch生态,原生支持分词、模糊匹配、聚合分析等复杂场景,并兼容Elasticsearch API接口。Lindorm多模统一的架构可实现“统一存储+多模索引”——原始数据写入宽表引擎后实时同步至搜索引擎自动构建倒排索引,查询时智能路由引擎无缝分流。
点查由宽表毫秒级响应,复杂检索(如全文分词、多条件聚合)精准转交搜索引擎执行并自动回查宽表补齐数据,有效规避原HBase+ES架构的运维复杂度与数据一致性问题。
申通由原先使用的Elasticsearch零改造平滑迁移到Lindorm,综合成本降低了50%。
站点/快递员绩效指标分析:Serverless的计算能力实现降本增效
Lindorm计算引擎是基于Lindorm统一底座的分布式计算服务,提供高性能、低成本的数据分析能力,深度集成开源Spark生态并兼容JDBC和SQL接口,支持交互式分析、机器学习及图计算等多场景。
计算引擎无缝打通Lindorm宽表和搜索引擎的数据,Serverless的形态支持客户按资源实际使用量付费,在物流行业分析需求有明显潮汐特征的场景下,为申通节省了40%的计算资源。
客户价值
架构极简升级:以统一平台替代HBase+ES+CK三套系统,彻底解决乱序写入、数据不一致及多组件运维负担,研发效率大幅提升。
性能突破性提升:通过Lindorm宽表引擎承载千万级高并发,并实现毫秒级点查,性能提升4倍;通过Lindorm搜索索引实现复杂多维检索低时延响应,解决原先索引构建用时长的瓶颈。
成本极致优化:Lindorm的无感冷热分层将整体存储成本降低50%;Serverless计算引擎按量付费,物流潮汐场景下资源利用率提升,节省40%计算资源。