互联网电商:上海识货信息科技有限责任公司

PolarDB采用存储和计算分离的架构,提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务,既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、自我迭代的优势。本文介绍上海识货信息科技有限责任公司如何通过PolarDB应对业务挑战。

image

公司介绍

识货是由上海识货信息科技有限公司推出的新一代潮流正品电商导购平台,成立于2012年。独特性在于为消费者筛选正品店铺,收集优惠信息,帮助用户快速高效地进行渠道筛选及购物决策。历经发展,目前识货已覆盖鞋服、数码、美妆、家电、食品酒水、潮玩、包表配件、生活服务(如票务及教育)等多类目商品,导购信息覆盖淘宝、天猫、京东、得物、拼多多等多平台,持续为用户提供商品评估、渠道筛选及消费决策支持,覆盖全品类消费场景的专业解决方案。

业务挑战

识货平台的核心推荐业务场景主要涉及大文本数据的高并发写入、实时推荐引擎和复杂搜索查询,日常峰值流量对系统承载能力提出了严苛要求。目前,平台采用HBase集群承载该业务,但受限于HBase架构的天然局限性,面临以下关键问题:

  • 性能瓶颈:HBaseRegionServer热点问题导致单节点负载持续过载,存在频繁内存溢出(OOM)的风险。海量大文本数据的频繁更新与实时检索对系统性能构成巨大挑战,为满足高峰流量的需求,需部署更多的服务器,显著增加了运行成本。

  • 可用性挑战:尽管采用多可用区主备集群部署提升了RTO指标,但跨可用区(AZ)数据同步延迟无法有效控制,在最终一致性模型下,跨节点数据不一致现象频发。业务系统被迫投入大量研发资源构建补偿机制,增加了复杂性和维护成本。

  • 成本压力:为满足高性能需求,需要大规模扩展硬件资源,导致基础设施成本居高不下。研发和运维成本也随着系统复杂性的增加而不断攀升。

解决方案

识货平台从自建数据库迁移至云原生数据库PolarDB,彻底满足业务上性能、主从延迟问题、成本以及可用性和快照备份多方面需求。为满足高峰业务的流量需求,HBase、HBase多可用区和云原生数据库PolarDB所需的服务器和成本对比如下:

ca37912d6a627cbd0b05f9f6c83d1321

PolarDB的架构和技术分析能够以更低成本满足业务高峰需求。

PolarStore EMP助力大文本读取搜索业务

降低I/O延迟

在处理大文本数据的业务场景中,由于InnoDB的页结构设计和Buffer Pool的内存分配机制,大文本数据的频繁读写操作往往面临性能挑战。具体来说,大文本数据通常跨越多个16KB的数据页,每个文本字段可能占用多个页,这些连续的页在加载到Buffer Pool时会占用大量内存空间,导致其他关键数据(如索引和小字段数据)被更快地替换出内存,从而降低了Buffer Pool的命中率。

PolarStore推出了弹性内存池(EMP)技术。通过利用分布式存储的优势,EMP在存储集群中构建了一个大容量的弹性内存池,能够智能识别和缓存数据库中的热点数据。这些热点数据会被优先缓存到读写性能更优的内存或持久化内存介质中,从而显著提升数据访问效率。

在识货业务场景中,采用EMP技术后,实时响应时间(RT)从2200微秒大幅降低至900微秒。在压力测试中,系统在响应时间(RT)99%的请求的响应时间小于2毫秒的情况下,实现了每秒8.8万个请求(QPS)的吞吐量,并达到了10 GB/s的带宽利用率,充分证明了EMP技术在提升系统性能方面的有效性。

image.png

一写多读共同加速

云原生数据库PolarDB支持一写多读,只读节点能够扩展15个,一写多读基于共享存储实现,因此读写(RW)和只读(RO)同样共享EMP,所有只读(RO)的访问都能够加速,加速效果不受只读(RO)个数的限制。支持动态扩展只读(RO)节点,能够解决热点Key问题,扩展时无需数据拷贝,EMP能够加速读,扩展只读(RO)节点速度也会随之提升。

PolarDB解决主从延迟,采用物理复制,延迟可保持在毫秒级别。压测过程中主从延迟小于5ms。计算存储分离的架构支持弹性扩缩容,无需提前扩容,EMP也会随着存储空间扩缩容,无需额外操作,进一步降低压测、大促扩容成本。

a90ab7eb3a3f8c62e9dd8d6b7118dd95

共享存储架构高可用性

PolarDB可用性强:多可用区部署,故障能够快速恢复。支持秒级备份。快照时无需数据拷贝,Redirect-On-Write(重定向写入)快照按量计费。

经过多种数据库产品对比压测,云原生数据库PolarDB在性能、可用性、成本上都有极大的优势,最终选择将业务迁移至PolarDB

客户价值

识货平台通过将HBase数据库迁移至云原生数据库PolarDB,实现了性能与成本的双重优化。借助PolarStore 弹性内存池(EMP)的性能优化特性,解决用户的痛点,数据库I/O压力大时依然能提供低延迟高带宽的稳定性能。EMP是无需任何适配和额外开销直接给用户提升性能的特性,同时为用户降低成本,PolarDB共享存储一写多读的架构,支持动态RO扩展,极低的主从延迟,大大简化了开发流程,降低开发成本。

客户感言

将推荐服务从HBase迁移到阿里云PolarDB,过程顺利且迅速。大促期间,借助PolarDBEMP功能,扩缩容操作更加快速,轻松应对流量高峰,服务响应时间平稳。其Serverless架构按需分配资源,成本降低150%,无需为闲置资源付费。同时,高可用性提升至99.99%,服务稳定性与性能皆有显著提升。阿里云PolarDB的强大功能让我们在大促期间从容应对挑战,无后顾之忧。相信在阿里云的助力下,未来我们可以专注于业务创新,实现更长远的发展。