全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

日志消费与查询区别

更新时间:2018-02-22 09:09:14

日志消费与日志查询区别

日志服务提供了两项功能都和“读”有关:

日志收集与消费(LogHub):提供公共的日志收集、分发通道。全量数据顺序(FIFO)读写,提供类似Kafka的功能

  • 每个LogStore有一个或多个Shard,数据写入时,随机落到某一个shard中
  • 可以从指定shard中,按照日志写入shard的顺序批量读取日志
  • 可以根据server端接收日志的时间,设置批量拉取shard日志的起始位置(cursor)

日志查询(Search/Analytics):在LogHub基础上提供海量日志查询+分析功能,根据条件进行日志查询与统计

  • 通过查询条件查找符合要求的数据
  • 支持关键词 AND、NOT、OR的布尔组合和结果SQL统计
  • 数据查询不区分shard

两者区别

功能 日志查询(LogSearch) 日志收集与消费(LogHub)
关键词查找 支持 不支持
小量数据读取
全量数据读取 慢(100条日志100ms,不建议通过该方式读取数据) 快 (1MB日志10ms,推荐方式)
读取是否区分topic 区分 不区分,只以shard作为标识
读取是否区分shard 不区分,查询所有shard 区分,单次读取需要指定shard
费用 较高
适用场景 监控、问题调查与分析等场景 流式计算、批量处理等全量处理场景
本文导读目录