本文介绍云原生多模数据库 Lindorm如何助力蚂蚁链IoT实现数据降本。
客户感言
综合对比了多种存储方案,Lindorm是最适合的选择。 Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求,同时,工具链比较成熟,能够平滑完成数据迁移。在系统上线的过程中,Lindorm团队深厚的技术支持能力给了我们很深的印象。
客户简介
蚂蚁链是蚂蚁集团代表性的科技品牌,致力于打造数字经济时代的信任新基建。蚂蚁链坚持核心技术突破,融合包括区块链、AIoT、智能⻛控等技术,通过链接各个产业网络,扎实解决行业实际问题,推动区块链技术平⺠化。从2016到2020年,蚂蚁链的区块链专利申请和授权的数量巨大,技术上已经能够支持10亿账户规模,同时能够支持每日10亿交易量,实现每秒10万笔跨链信息处理能力。蚂蚁链坚持开放生态,与合作伙伴共建共享区块链产业带来的价值互联红利。在实际应用上,蚂蚁链已携手生态合作伙伴,解决了50余个场景的信任难题,其中的蚂蚁链IoT可信平台致力于解决实物资产可信上链的问题,接入的设备数量和业务规模快速增长。
业务挑战
业务增速快,数据总量不断增大,MySQL出现性能瓶颈
日增数据量大,一年数据增量超6TB,存储成本压力大
数据冷热区分明显,和数据生成时间强相关
数据需要实时归档到离线进行分析
解决方案
阿里云Lindorm历经阿里众多核心服务的大规模验证,拥有相关技术领域的优秀技术团队,保障了使用过程的持续稳定、可靠,构建起坚实的离在线存储底座,使得客户可以聚焦于业务侧的发展。
在现有单独采用MySQL作为在线存储的架构下,引入Lindorm作为历史存储,热数据保留在MySQL内,并通过DTS+LTS将数据实时归档到Lindorm中压缩存储&保留
写入Lindorm的数据,可通过LTS实时将数据归档入湖至DLA Spark或MaxCompute,归档后在离线系统进行分析,分析产出的结果数据亦可通过LTS将数据Bulkload导入到Lindorm提供在线查询
借助Lindorm集群内单表冷热分层能力,0应用改造实现单表内数据冷热分离,可实现存储成本的进一步降低。
客户价值
通过引入Lindorm作为历史数据存储后,MySQL内仅保留较短时间周期内的热数据,数据量大幅度下降,使得性能瓶颈问题得到缓解。
通过引入Lindorm作为历史数据存储,进行技术上储备。未来可以使用Lindorm作为在线存储,利用其良好的扩展能力来应对业务的不断增长。
Lindorm提供了低成本保存数据的能力,并具备0代码改造实现集群内冷热分离,可进一步降低存储成本。
集群内单表冷热分离的能力为全面使用Lindorm替换MySQL奠定基础。全面使用Lindorm后将消除目前MySQL需要批量删除历史数据的需求,从而消除由此带来的请求尖刺,降低对业务的影响。
通过LTS将数据实时归档至MaxCompute,可消除凌晨批量扫描数据的需求,降低对在线业务的影响。LTS的引入也为分析结果导入在线存储提供查询服务做了技术上的准备。