数据收集至日志服务 LogHub 后,有三种方法可以处理日志:

方式 场景 实时性 存储时间
实时消费(LogHub) 流计算、实时计算等 实时 自定义
索引查询(LogSearch) 适合最近热数据的在线查询 实时(99.9%的情况为1秒,最大3秒。) 自定义
投递存储(LogShipper) 适合全量存储日志,进行离线分析 5分钟~30分钟 依赖于存储系统

实时消费

日志服务LogHub功能提供Pull接口,支持日志数据实时消费。对于一个 Shard 中的日志,消费过程如下:
  1. 根据时间、Begin、End 等条件获得游标。
  2. 通过游标、步长参数读取日志,同时返回下一个位置游标。
  3. 不断移动游标进行日志消费。
Note 消费日志与查询日志都意味着“读取”日志,两者区别请参见日志消费与查询区别

SDK消费

日志服务提供多语言(Java 、Python、Go 等) SDK,且这些语言的 SDK 都支持日志消费接口。关于SDK的更多信息请参考日志服务 SDK

消费组消费

消费组是日志服务对 LogHub 消费者提供的高级模式。消费组提供了一个轻量级计算框架,解决多个消费者并行消费 Logstore 的能力,消费组提供自动分配 Shard、支持保序、断点续传等功能,详情请参考Consumer Library。目前 Go、Python、Java 等语言均提供消费组 SDK。

流计算系统消费
云产品消费

开源产品消费

Flume消费:使用 Flume 消费日志,并将日志导入到 HDFS 实例。

查询分析

参见实时查询分析简介
  • 使用日志服务控制台查询日志:参见实时查询分析简介
  • 使用日志服务 SDK/API 查询日志:日志服务提供 REST 风格的 API,基于 HTTP 协议实现。日志服务的 API 同样提供全功能的日志查询接口。详细内容请参考日志服务 API

投递存储

其他

安全日志服务:日志服务与安全云产品对接,可通过 ISV 消费云产品日志。