云原生多模数据库 Lindorm助力数禾科技业务系统实现真正的流批一体

技术亮点:高性能&低成本解决方案、基于LTS主备集群数据实时同步、Bulkload离线数据加载。

客户感言

从我们看中lindorm容量型存储低廉的价格决定采用阿里云Lindorm产品作为我们eventhub流批一体特征平台的底层数据库服务,阿里云Lindorm专家团队和产品团队专程到公司为我们介绍Lindorm产品,特性以及应用场景;在开发过程中当我们碰到困难,阿里云Lindorm专家及时给出最佳实践和解决方案。在阿里云Lindorm团队的帮助下,我们相信eventhub流批一体特征平台能成为业界优秀的平台产品。

客户简介

数禾科技以大数据和技术为驱动,为金融机构提供高效的智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期、财富管理等多个领域,提供营销获客、风险防控、运营管理等服务数禾科技通过自主开发的智能金融产品,连接金融机构与普罗大众,赋能金融机构数字化转型,迎接中国消费升级的大潮。

业务挑战

  • 业务数据量大,对可用性高要求,同时成本控制高要求。

  • 消息数据来源众多,数据结构变更频繁。

  • 特征数据schema日增字段近千个。

  • 有大量离线分析结果数据需要导入在线存储,并提供毫秒级、高并发在线访问。

  • 自建开源HBase缺少运维平台,手动扩缩容成本高,而且容易导致运维故障。

解决方案

  • 云原生多模数据库 Lindorm历经阿里众多核心服务的大规模验证,拥有相关技术领域的优秀技术团队,保障了使用过程的持续稳定、可靠,构建起坚实的离在线存储底座,使得客户可以聚焦于业务侧的发展。

  • 通过Lindorm LTS实现跨机房主备双集群的实时数据同步,实现内容有:

    • 主备集群存储异构,备集群采用高密度存储+数据保留长周期,从而有效控制成本。

    • 主集群采用高性能存储+数据保留短周期,实现数据高性能读写并且有效控制单个节点数据分片数量,可以有效控制单节点故障恢复时间,提升可用性。

    image
  • Lindorm为典型的NoSQL数据库,可以实现列的动态变更,从而很好的满足了数据结构变动频繁的业务。

  • Lindorm采用LSM架构,可以通过Bulkload技术实现离线数据到在线数据库的高效加载并且可以将数据加载期间对在线业务请求的影响降低。

  • 通过和客户沟通了解业务日增千个字段的原因,给出合理的优化建议。

客户价值

  • 通过采用云原生多模数据库 Lindorm,实现集群的运维自动化,大幅度降低了运维成本及由手动操作带来的不可预知的问题。

  • 通过主备集群、LTS、异构存储、长短TTL等技术手段,有效的控制了总体成本的同时保证了生产集群高性能、高可用,同时具备了跨机房的数据容灾及数据保留长周期。

  • 通过表结构的优化有效控制了字段数量的不断增长,一方面降低了存储开销,另一方面也提升了数据的访问效率。

  • 通过Bulkload进行离线分析结果数据加载,消除了加载期间的写入请求尖刺,从而消除了对在线请求的影响,使得业务运行更加稳定。