查询与分析概述

日志服务支持通过索引模式查询和分析日志。该功能结合了SQL计算功能。本文介绍查询与分析功能的基本语法、使用限制和SQL函数等信息。

重要
  • 如果您要查询与分析日志,则必须将日志采集到Standard Logstore中,且在配置索引时打开对应字段的开启统计开关。更多信息,请参见管理Logstore创建索引

  • 如果您需要查询百亿级的日志数据量,您可以反复执行(10次以内)某查询语句获取最终完整的结果。更多信息,请参见控制台提示“查询结果不精确”,如何解决?

  • 日志服务默认存在保留字段。如果您要分析保留字段,请参见保留字段

基本语法

重要
  • 查询语句中建议不超过30个条件。

  • 分析语句默认分析当前Logstore中的数据,不需要填写FROM子句和WHERE子句。

  • 分析语句不支持使用offset,不区分大小写,末尾不需要加分号。

查询语句和分析语句以竖线|分割。查询语句可单独使用,分析语句必须与查询语句一起使用。即分析功能是基于查询结果或全量数据进行的。

查询语句|分析语句

类型

说明

查询语句

查询语句用于指定日志查询时的过滤规则,返回符合条件的日志。查询条件可使用关键词、数值、数值范围、空格、星号(*)等。 如果为空格或星号(*),表示无过滤条件。更多信息,请参见查询语法

分析语句

对查询结果或全量数据进行计算和统计。更多信息,请参见使用SPL查询和分析日志SQL分析语法与功能

示例

* | SELECT status, count(*) AS PV GROUP BY status

查询与分析结果如下图所示:

image

在Logstore中进行实时查询和分析操作,请参见查询和分析日志

高级功能

  • LiveTail:日志服务在控制台提供了日志实时监控的交互功能LiveTail,针对线上日志进行实时监控分析,减轻运维压力。

  • 日志聚类:在采集日志时,将相似度高的日志聚合,提取共同的日志模式(Pattern),快速掌握日志全貌。

  • 上下文查询:通过查看指定日志的上下文信息,您可以在业务故障排查中快速查找相关故障信息,方便定位问题。

  • 字段分析:此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图,为用户提供了深入的数据洞察和可视化工具,便于理解和挖掘。

  • 事件配置:事件配置为原始日志提供可视化、易操作的日志钻取功能,方便您获取更详尽的日志信息。

  • 跨LogStore查询日志(StoreView):通过StoreView功能,可实现跨地域、跨Store联合查询。

查询功能使用限制

限制项

说明

关键词个数

关键词查询时,除布尔逻辑符外的条件个数。每次查询最多30个。

字段值大小

单个字段值最大为512 KB,超出部分不参与查询。

如果单个字段长度大于512 KB,有一定几率无法通过关键词查询到日志,但数据仍然是完整的。

操作并发数

单个Project支持的最大查询操作并发数为100个。

例如100个用户同时在同一个Project的各个Logstore中执行查询操作。

返回结果

每次查询时,每页最多显示100条查询结果,您可翻页读取完整的查询结果。

模糊查询

执行模糊查询时,日志服务最多查询到符合条件的100个词,并返回包含这100个词并满足查询条件的所有日志。更多信息,请参见模糊查询

查询结果排序

默认按照秒级时间(如果存在纳秒级则以纳秒级时间)从最新开始展示。

分析功能使用限制

限制项

普通实例

独享实例

操作并发数

单个Project支持的最大分析操作并发数为15个。

例如最大支持15个用户同时在一个Project的各个Logstore中执行分析操作。

单个Project支持的最大分析操作并发数为100个。

例如最大支持100个用户同时在一个Project的各个Logstore中执行分析操作。

数据量

单个Shard单次仅支持分析1 GB数据。

单次分析最大支持扫描2000亿行数据。

开启模式

默认开启。

通过开关开启。具体操作,请参见开启SQL独享版

费用

免费。

根据实际使用的CPU时间付费。

数据生效机制

分析功能只对开启统计功能后写入的数据生效。

如果您需要分析历史数据,请对历史数据重建索引。更多信息,请参见重建索引

分析功能只对开启统计功能后写入的数据生效。

如果您需要分析历史数据,请对历史数据重建索引。更多信息,请参见重建索引

返回结果

执行分析操作后,默认最多返回100行数据。

如果您需要返回更多数据,请使用LIMIT语法。更多信息,请参见LIMIT子句

执行分析操作后,默认最多返回100行数据。

如果您需要返回更多数据,请使用LIMIT语法。更多信息,请参见LIMIT子句

字段值大小

单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。

说明

默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索引

单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。

说明

默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索引

超时时间

分析操作的最大超时的时间为55秒。

分析操作的最大超时的时间为55秒。

Double类型的字段值位数

Double类型的字段值最多52位。

如果浮点数编码位数超过52位,会造成精度损失。

Double类型的字段值最多52位。

如果浮点数编码位数超过52位,会造成精度损失。

相关文档