日志服务的典型应用场景包括:数据采集、实时计算、数仓与离线分析、产品运营与分析、运维与管理等场合。典型应用场景如下。

数据采集与消费

通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。

方案优势:

  • 使用便捷:提供30+实时数据采集方式,让您快速搭建平台;强大配置管理能力,减轻运维负担。
  • 弹性伸缩:无论是流量高峰还是业务增长都能轻松应对。
图 1. 数据采集与消费


数据清洗与流计算 (ETL/Stream Processing)

日志中枢(LogHub)支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。

  • 操作便捷:提供丰富SDK以及编程框架,与各流计算引擎无缝对接。
  • 功能完善:提供丰富监控数据,以及延迟报警机制。
  • 弹性伸缩:PB级弹性能力,0延迟。
图 2. 数据清洗与流计算


数据仓库对接(Data Warehouse)

日志投递(LogShipper)功能可以将日志中枢(LogHub)中数据投递至存储类服务,过程支持压缩、自定义Partition、以及行列等各种存储格式。

  • 海量数据:对数据量不设上限。
  • 种类丰富:支持行、列、TextFile等各种存储格式。
  • 配置灵活:支持用户自定义Partition等配置。
图 3. 数据仓库对接


日志实时查询与分析

实时查询分析(LogAnalytics)可以实时索引LogHub中数据,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。

  • 实时性强:写入后即可查询。
  • 海量低成本:支持PB/Day索引能力,成本为自建方案15%。
  • 分析能力强:支持多种查询手段,及SQL进行聚合分析,并提供可视化及报警功能。
图 4. 日志实时查询与分析