文档

应用场景

更新时间:

日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。

数据采集与消费

通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。

方案优势:

  • 使用便捷:提供50+实时数据采集方式,让您快速搭建平台;强大配置管理能力,减轻运维负担。

  • 弹性伸缩:无论是流量高峰还是业务增长都能轻松应对。

图 1. 数据采集与消费

image

数据清洗与流计算 (ETL/Stream Processing)

日志中枢(LogHub)支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。

  • 操作便捷:提供丰富SDK以及编程框架,与各流计算引擎无缝对接。

  • 监控报警:提供丰富监控数据,以及延迟报警机制。

  • 弹性伸缩:PB级弹性能力,0延迟。

图 2. 数据清洗与流计算

image

数据仓库对接(Data Warehouse)

日志投递(LogShipper)功能可以将日志中枢(LogHub)中数据投递至存储类服务,过程支持压缩、自定义Partition、以及行列等各种存储格式。

  • 海量数据:对数据量不设上限。

  • 种类丰富:支持行、列、TextFile等各种存储格式。

  • 配置灵活:支持用户自定义Partition等配置。

图 3. 数据仓库对接

image

日志实时查询与分析

实时查询分析(LogAnalytics)可以实时索引LogHub中数据,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。

  • 实时性强:写入后即可查询。

  • 海量低成本:支持PB/Day索引能力,成本为自建方案15%。

  • 分析能力强:支持多种查询手段,及SQL进行聚合分析,并提供可视化及报警功能。

图 4. 日志实时查询与分析

image
  • 本页导读 (1)
文档反馈