日志消费与查询区别

日志服务提供日志消费和查询功能,都均为对日志数据的读操作。

日志消费

全量数据顺序(FIFO)读写,提供类似Kafka的功能。

  • 每个LogStore有一个或多个Shard,数据写入时,随机落到某一个Shard中。

  • 可以从指定Shard中,按照日志写入Shard的顺序批量读取日志。

  • 根据接收日志的时间,设置批量读取Shard日志的起始位置(cursor)。

日志查询(LogSearch)

提供海量日志查询和分析功能,根据条件进行日志查询与统计。

  • 通过查询条件查找符合要求的数据。

  • 支持运算符AND、NOT、OR的多条件组合查询和结果SQL统计。

  • 数据查询不区分Shard。

区别

对比项目

日志查询

日志消费

查找关键词

支持

不支持

读取少量数据

读取全量数据

慢(100条日志100ms,不建议通过该方式读取数据。)

快(1 MB日志10ms,推荐方式。)

读取是否区分日志主题

区分

不区分,只以Shard作为标识。

读取是否区分Shard

不区分,查询所有Shard。

区分,单次读取需要指定Shard。

费用

较高

适用场景

监控、问题调查与分析等场景。

流式计算、批量处理等全量处理场景。