云数据库Lindorm助力蚂蚁链IoT数据降本

客户感言

综合对比了多种存储方案,Lindorm是最适合的选择。 Lindorm的自动冷热分离、数据压缩功能完美契合了我们需求,同时,工具链比较成熟,能够平滑完成数据迁移。在系统上线的过程中,Lindorm团队深厚的技术支持能力给了我们很深的印象。

客户简介

蚂蚁链是蚂蚁集团代表性的科技品牌,致力于打造数字经济时代的信任新基建。蚂蚁链坚持核心技术突破,融合包括区块链、AIoT、智能⻛控等技术,通过链接各个产业网络,扎实解决行业实际问题,推动区块链技术平⺠化。从2016到2020年,蚂蚁链连续四年区块链专利申请数和授权数全球第一,技术上已经能够支持10亿账户规模,同时能够支持每日10亿交易量,实现每秒10万笔跨链信息处理能力。蚂蚁链坚持开放生态,与合作伙伴共建共享区块链产业带来的价值互联红利。在实际应用上,蚂蚁链已携手生态合作伙伴,解决了50余个场景的信任难题,其中的蚂蚁链IoT可信平台致力于解决实物资产可信上链的问题,接入的设备数量和业务规模快速增长。

业务挑战

  • 业务增速快,数据总量不断增大,MySQL出现性能瓶颈

  • 日增数据量大,一年数据增量超6TB,存储成本压力大

  • 数据冷热区分明显,和数据生成时间强相关

  • 数据需要实时归档到离线进行分析

解决方案

  • 阿里云Lindorm历经阿里众多核心服务的大规模验证,拥有国内相关技术领域的顶尖技术团队,保障了使用过程的持续稳定、可靠,构建起坚实的离在线存储底座,使得客户可以聚焦于业务侧的发展。

  • 在现有单独采用MySQL作为在线存储的架构下,引入Lindorm作为历史存储,热数据保留在MySQL内,并通过DTS+LTS将数据实时归档到Lindorm中压缩存储&永久保留

  • 写入Lindorm的数据,可通过LTS实时将数据归档入湖至DLA Spark或MaxCompute,归档后在离线系统进行分析,分析产出的结果数据亦可通过LTS将数据Bulkload导入到Lindorm提供在线查询

历史库架构
  • 借助Lindorm集群内单表冷热分层能力,0应用改造实现单表内数据冷热分离,可实现存储成本的进一步降低

冷热分离

客户价值

  • 通过引入Lindorm作为历史数据存储后,MySQL内仅保留较短时间周期内的热数据,数据量大幅度下降,使得性能瓶颈问题得到缓解。

  • 通过引入Lindorm作为历史数据存储,为未来做了技术上的储备。未来可以使用Lindorm作为在线存储,利用其良好的扩展能力来应对业务的不断增长。

  • Lindorm提供了低成本永久保存数据的能力,并具备0代码改造实现集群内冷热分离,可进一步降低存储成本。

  • 集群内单表冷热分离的能力为未来全面使用Lindorm替换MySQL奠定基础。全面使用Lindorm后将消除目前MySQL需要批量删除历史数据的需求,从而消除由此带来的请求尖刺,降低对业务的影响。

  • 通过LTS将数据实时归档至MaxCompute,可消除凌晨批量扫描数据的需求,降低对在线业务的影响。LTS的引入也为未来分析结果导入在线存储提供查询服务做了技术上的准备。