数据收集至日志服务 LogHub 后,有三种方法可以处理日志:

方式 场景 实时性 存储时间
实时消费(LogHub) 流计算、实时计算等 实时 自定义
索引查询(LogSearch) 适合最近热数据的在线查询 实时(99.9% 1秒,最大3秒) 自定义
投递存储(LogShipper) 适合全量存储日志,进行离线分析 5~30分钟 依赖于存储系统

实时消费

在写入日志后,最基本功能就是如何消费日志(消费日志与查询日志都意味着“读取”日志)。对于一个 Shard 中日志,消费过程如下:
  1. 根据时间、Begin、End 等条件获得游标。
  2. 通过游标、步长参数读取日志,同时返回下一个位置游标。
  3. 不断移动游标进行日志消费。
除最基本的 API 外,日志服务提供 SDK、Storm Spout、Spark Client、Web Console 等方式进行日志消费:

查询分析

参见实时查询分析简介
  • 使用日志服务控制台查询日志:参见实时查询分析简介
  • 使用日志服务 SDK/API 查询日志:日志服务提供 REST 风格的 API,基于 HTTP 协议实现。日志服务的 API 同样提供全功能的日志查询接口。详细内容请参考日志服务 API

投递存储

其他

安全日志服务:日志服务与安全云产品对接,可通过 ISV 消费云产品日志。