孚盟案例

Lindorm采用原生存储计算分离架构,深度兼容开源Elasticsearch,在为孚盟提供高性能查询能力的同时大幅提升了压缩率、优化了迁移方案,通过自动索引与智能路由降低维护成本,高峰期仍可快速扩缩容,性价比显著提升。

客户简介

孚盟软件(上海孚盟软件有限公司)成立于2006年,主要为国际贸易和跨境电商企业提供智能营销获客、外贸CRM、外贸ERP、外贸业务流程管理及供应链管理等全流程软件产品,是国内知名的外贸SaaS服务供应商和外贸行业解决方案提供商。

孚盟软件获得“AAA级企业信用评定”,是“上海专精特新”企业、“上海市生产性服务业先进示范企业”和“闵行区科技小巨人企业”,多次获得“最具创新SaaS提供商”、“企业外贸管理软件信赖产品奖”、“中国制造业最佳外贸软件供应商奖”等荣誉。

业务要求与挑战

孚盟公司提供外贸获客、全流程及集团化三大解决方案,覆盖多行业、多阶段外贸企业的营销、销售与管理全周期运营需求,助力企业高效运营与持续增长。

随着业务规模的快速增长,在使用原自建Elasticsearch(简称ES)方案的过程中,业务面临着以下问题:

  • 查询性能瓶颈

    原方案在核心聚合场景下响应时间过长,性能较差,影响用户体验。例如:

    • 多个聚合查询场景平均耗时超过5

    • 海量数据聚合后产生4000万条结果,对其进行深度翻页(如第500页)时,聚合与翻页查询总耗时达10~15

  • 索引管理复杂,运维成本高

    全量历史数据影响查询效率,索引需根据时间手动划分,查询时需根据时间范围匹配对应索引,使用方式复杂,运维成本高。

  • 数据规模大,存储成本高

    孚盟不仅要永存保留庞大的历史数据,还面临着与日俱增的新增数据:

    • 单表存储30亿条记录,单集群数据存储总量达20 TB,永久存储成本高。

    • 随着业务的快速增长,每月新增5000万行,未来数据将持续膨胀,需要寻找更具性价比的数据存储方案。

  • 扩容速度慢,资源利用率低

    ES方案不支持存算分离,扩充计算节点需要进行数据搬迁,在数据量大的情况下需要若干小时甚至天级别来完成数据均衡。扩容效率低难以应对业务高峰,冗余资源配置导致CPU利用率长期低于50%,存在资源浪费。

解决方案

  • 核心技术大幅提升查询效率

    相比原先自建Elasticserarch方案,Lindorm通过多项核心技术优化(如时序裁剪、自适应merge、多级缓存等)大幅提升查询性能,远超同类型SaaS服务平台:

    image

    场景说明

    自建ES方案性能

    Lindorm优化后性能

    场景1:基于25亿数据,查询命中4000万数据后进行分组聚合。

    延迟高达5秒。

    延迟降低至500毫秒远超目标性能(1.5秒)。

    场景2:Top 20 聚合 + 深度翻页至第500页。

    延迟高达10秒。

    延迟降低至2,同时优于同类型平台(3秒)。

    场景3:Top 10000聚合。

    延迟超过15秒。

    延迟降低至4,显著提升查询性能。

    除以上核心场景外,孚盟还测试了实际业务生产会使用到的636个用例:image.png

    该柱状图橙色代表Lindorm,蓝色代表自建ES。横坐标表示不同测试用例,纵坐标表示查询延迟,单位为毫秒(ms)。从上图可以看出,在几乎99%的测试用例中,Lindorm的查询延迟远远小于自建ES,查询性能远远优于自建ES。

  • 自动时间分区全生命周期管理

    • 自动索引、智能路由

      Lindorm搜索引擎支持基于时间的自动分区功能,仅需在创建索引时通过简单的SQL预定义分区策略,系统即可自动完成后续索引管理。Lindorm可以基于预定义的时间分区策略,自动按时间范围划分索引并智能路由查询请求,自动裁剪查询分区,省去了自建ES中手动管理索引的运维成本。

      image
    • 全生命周期的分区管理

      管理方案

      说明

      自动滚动分区

      • 当分区达到时间间隔上限时,系统自动创建新分区以确保数据无缝写入,无需人工触发。

      • 写入未来数据时,系统动态扩展分区,避免数据丢失。

      TTL自动清理

      • 根据TTL定期清理过期分区,节省存储空间。

      • Lindorm内核统一调度清理任务,无需用户手动干预。

      灵活配置更新

      分区策略(如修改时间间隔或TTL)可随时调整,系统在线更新,业务不中断。

  • 压缩率提升一倍

    相比开源ES默认的LZ4压缩算法。Lindorm深度优化的ZSTD压缩算法可将存储空间降低50%,压缩率提升了一倍,有效降低存储成本。

    image
  • 存算分离,弹性扩容应对高峰

    Lindorm数据库采用存算分离架构,迁移Partition无需搬迁数据,秒级完成服务与流量迁移,实现快速扩缩容。Lindorm搜索方案在业务高峰期可以迅速增加计算节点并提供服务,确保系统性能。下图展示了LindormTB级数据量的扩容表现,全程只需十几分钟:image.png

    此外,存算分离的架构提升了Lindorm系统的容灾能力(自动接管故障节点分管的分片避免服务中断)。同时,计算资源和存储可独立配置,有效避免资源浪费。

客户价值

Lindorm在兼容开源Elasticsearch的基础上,为孚盟提供了成熟的增量数据迁移方案,在提升业务性能的同时将业务改造成本降到了最低。

  • 大幅提升用户体验,核心场景查询时延减少80%

  • 自动索引,智能路由,减少维护成本,大幅提升开发效率。

  • 压缩率提升一倍,有效减少存储成本,更具性价比。

  • 存算分离架构,业务高峰期依旧可以快速扩缩容,无需提前配置冗余资源。