哈啰出行通过把日志数据迁移到日志服务,替代原有的Kafka、ES、ClickHouse,累积节省成本30%,同时满足了稳定性、扩展性以及日志查询与分析的需求。

公司简介

哈啰出行是国内领先的本地出行及生活服务平台,致力于应用数字技术的红利,为人们提供更便捷的出行以及更好的普惠生活服务。更多信息,请参见哈啰出行

业务场景

哈啰出行为用户提供哈啰单车、哈啰助力车分时租赁的服务。共享单车服务致力于解决最后一公里的出行难题。哈啰出行以技术创新赋能智能终端,推动运维高效执行与自营管理体系相结合,依托搭载定位芯片的智能锁,辅以后台智能规划调度、运维人员智能端口精细化运营。哈啰单车累积注册4亿多用户,入驻400多座城市,累积骑行237亿公里。依托于智能锁,赋能了在线的实时调度。单车数据、APP数据无缝打通,因而催生了数据的实时采集、分析、存储需求。

业务痛点

哈啰出行原有架构是将数据采集到Kafka,然后将日志写入ELK做查询,同时写入ClickHouse做分析。由于每天增量数据在TB级别,对ES稳定性压力比较大。当查询数据操作,会影响ES的写入延时。由于写入量大,查询基本处于不可用状态。因此,当天数据采用单副本,隔天再生成多副本。这种方式对数据的可靠性带来很大的挑战。此外,自建Kafka、ES、ClickHouse成本较高,急需降低成本。

解决方案

日志服务为哈啰出行提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。

  • 实时采集

    日志服务原生支持Kafka协议。哈啰出行的各个客户端只需把Kafka的地址设置成日志服务的Kafka协议地址即实现了无缝迁移。

  • 弹性扩容

    日志服务采用Shard模型,当流量发生上涨时,可以手动分裂Shard,实现写入带宽的扩容,也可以设置成自动分裂,当流量达到上限时,自动扩容出新的Shard。

  • 查询与分析

    日志服务同时提供了查询和分析能力。在查询方面,日志服务支持关键字检索、数值范围查询、JSON字段的递归查询、多条件组合查询。在分析方面,日志服务支持以SQL 92语法分析日志,秒级分析数百亿条日志。SQL语法支持200多种函数,以及支持join计算,可与OSS、MySQL数据源做关联分析。

哈啰出行_解决方案