云原生多模数据库Lindorm助力蚂蚁链IoT数据降本

本文介绍云原生多模数据库 Lindorm如何助力蚂蚁链IoT实现数据降本。

客户感言

综合对比了多种存储方案,Lindorm是最适合的选择。 Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求,同时,工具链比较成熟,能够平滑完成数据迁移。在系统上线的过程中,Lindorm团队深厚的技术支持能力给了我们很深的印象。

客户简介

蚂蚁链是蚂蚁集团代表性的科技品牌,致力于打造数字经济时代的信任新基建。蚂蚁链坚持核心技术突破,融合包括区块链、AIoT、智能⻛控等技术,通过链接各个产业网络,扎实解决行业实际问题,推动区块链技术平⺠化。从2016到2020年,蚂蚁链的区块链专利申请和授权的数量巨大,技术上已经能够支持10亿账户规模,同时能够支持每日10亿交易量,实现每秒10万笔跨链信息处理能力。蚂蚁链坚持开放生态,与合作伙伴共建共享区块链产业带来的价值互联红利。在实际应用上,蚂蚁链已携手生态合作伙伴,解决了50余个场景的信任难题,其中的蚂蚁链IoT可信平台致力于解决实物资产可信上链的问题,接入的设备数量和业务规模快速增长。

业务挑战

  • 业务增速快,数据总量不断增大,MySQL出现性能瓶颈

  • 日增数据量大,一年数据增量超6TB,存储成本压力大

  • 数据冷热区分明显,和数据生成时间强相关

  • 数据需要实时归档到离线进行分析

解决方案

  • 阿里云Lindorm历经阿里众多核心服务的大规模验证,拥有相关技术领域的优秀技术团队,保障了使用过程的持续稳定、可靠,构建起坚实的离在线存储底座,使得客户可以聚焦于业务侧的发展。

  • 在现有单独采用MySQL作为在线存储的架构下,引入Lindorm作为历史存储,热数据保留在MySQL内,并通过DTS+LTS将数据实时归档到Lindorm中压缩存储&保留

  • 写入Lindorm的数据,可通过LTS实时将数据归档入湖至DLA Spark或MaxCompute,归档后在离线系统进行分析,分析产出的结果数据亦可通过LTS将数据Bulkload导入到Lindorm提供在线查询

image
  • 借助Lindorm集群内单表冷热分层能力,0应用改造实现单表内数据冷热分离,可实现存储成本的进一步降低。

image

客户价值

  • 通过引入Lindorm作为历史数据存储后,MySQL内仅保留较短时间周期内的热数据,数据量大幅度下降,使得性能瓶颈问题得到缓解。

  • 通过引入Lindorm作为历史数据存储,进行技术上储备。未来可以使用Lindorm作为在线存储,利用其良好的扩展能力来应对业务的不断增长。

  • Lindorm提供了低成本保存数据的能力,并具备0代码改造实现集群内冷热分离,可进一步降低存储成本。

  • 集群内单表冷热分离的能力为全面使用Lindorm替换MySQL奠定基础。全面使用Lindorm后将消除目前MySQL需要批量删除历史数据的需求,从而消除由此带来的请求尖刺,降低对业务的影响。

  • 通过LTS将数据实时归档至MaxCompute,可消除凌晨批量扫描数据的需求,降低对在线业务的影响。LTS的引入也为分析结果导入在线存储提供查询服务做了技术上的准备。