全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

简介

更新时间:2018-01-04 11:09:05

数据收集至日志服务LogHub后,有三种方法可以消费日志:

方式 场景 实时性 存储时间
实时消费(LogHub) 流计算、实时计算等 实时(<10ms) 365天(如需更长时间请联系我们)
查询分析(Search/Analytics) 在线查询与分析 实时(99.99% 1秒内) 365天(如需更长时间请联系我们)
投递存储(LogShipper) 适合全量存储日志,进行离线分析 5~30分钟 依赖于存储系统

实时消费

消费过程

在写入日志后,最基本功能就是如何消费日志。消费日志与查询日志都意味着“读取”日志,两者区别见 消费日志与查询日志的区别。对于一个Shard 中日志,消费过程如下:

  1. 根据时间、Begin、End等条件获得游标。
  2. 通过游标、步长参数读取日志,同时返回下一个位置游标。
  3. 不断移动游标进行日志消费。

消费方式

除最基本的API外,日志服务提供SDK、Storm Spout、Spark Client、Flink Connector、Consumer Library、Web Console等方式进行日志消费:

查询分析

参见实时查询分析简介

  • 使用日志服务控制台查询日志:参见 查询日志
  • 使用日志服务 SDK/API 查询日志:日志服务提供 REST 风格的 API,基于 HTTP 协议实现。日志服务的 API 同样提供全功能的日志查询接口。具体参考请见 日志服务 API

投递存储

其他

安全日志服务: 日志服务与安全云产品对接,可通过ISV消费云产品日志。

本文导读目录