应用场景

数据采集与消费

通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。

方案优势：

• 使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。

• 弹性伸缩：无论是流量高峰还是业务增长都能轻松应对。

图 1. 数据采集与消费

数据清洗与流计算 （ETL/Stream Processing）

日志中枢（LogHub）支持与各种实时计算及服务对接，并提供完整的进度监控，报警等功能，并可以根据SDK/API实现自定义消费。

• 操作便捷：提供丰富SDK以及编程框架，与各流计算引擎无缝对接。

• 监控报警：提供丰富监控数据，以及延迟报警机制。

• 弹性伸缩：PB级弹性能力，0延迟。

图 2. 数据清洗与流计算

数据仓库对接（Data Warehouse）

日志投递（LogShipper）功能可以将日志中枢（LogHub）中数据投递至存储类服务，过程支持压缩、自定义Partition、以及行列等各种存储格式。

• 海量数据：对数据量不设上限。

• 种类丰富：支持行、列、TextFile等各种存储格式。

• 配置灵活：支持用户自定义Partition等配置。

图 3. 数据仓库对接

日志实时查询与分析

实时查询分析（LogAnalytics）可以实时索引LogHub中数据，提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。

• 实时性强：写入后即可查询。

• 海量低成本：支持PB/Day索引能力，成本为自建方案15%。

• 分析能力强：支持多种查询手段，及SQL进行聚合分析，并提供可视化及报警功能。

图 4. 日志实时查询与分析