通过索引模式查询和分析日志_日志服务(SLS)-阿里云帮助中心

日志服务支持通过配置索引查询和分析日志。该功能结合了SQL计算功能。本文介绍查询与分析功能的基本语法、使用限制和SQL函数等信息。

阅读引导

日志服务提供查询和分析日志功能。具体操作，请参见查询与分析快速指引。
如果您要查询与分析日志，则必须将日志采集到Standard Logstore中，参考管理Logstore。创建索引后，查询与分析只针对增量日志生效。当您需要对历史日志文件查询分析，需要重建索引。
如果您需要查询百亿级的日志数据量，您可以反复执行（10次以内）某查询语句获取最终完整的结果。更多信息，请参见控制台提示“查询结果不精确”，如何解决？。
日志服务默认存在保留字段。如果您要分析保留字段，请参见保留字段。
如果您需要生成SQL、解释复杂SQL、优化SQL语句，您可以使用Copilot。

查询与分析

日志服务支持秒级查询十亿到千亿级别的日志，并支持通过SQL对查询结果进行统计分析。查询语句可单独使用，分析语句必须与查询语句一起使用，即分析功能是基于查询结果或全量数据进行的。

基本语法

查询语句和分析语句以竖线|分割。查询语句可单独使用，分析语句必须与查询语句一起使用。即分析功能是基于查询结果或全量数据进行的。

查询语句|分析语句

类型	说明

类型	说明
查询语句	查询语句用于指定日志查询时的过滤规则，返回符合条件的日志。格式为：`查询语句`，例如`status: 200`。查询条件可使用关键词、数值、数值范围、空格、``等。如果为空格或``，表示无过滤条件。更多信息，请参见查询语法与功能。重要查询语句中建议不超过30个条件。
分析语句	如需使用分析功能，则必须将日志采集到Standard Logstore中，且在配置索引时打开对应字段的开启统计开关。分析语句对查询结果或全量数据进行计算和统计。日志服务支持的分析函数和语法，请参见： SQL函数：SQL函数通常用于对数据进行计算、转换和格式化。例如，计算总和、平均值、字符串操作、日期处理等。 SQL子句：SQL子句用于构建完整的SQL查询或数据操作语句，决定数据的来源、条件、分组、排序等。嵌套子查询：嵌套子查询是指将一个SELECT语句嵌套在另一个SELECT语句中，用于复杂的分析场景。 Logstore和MySQL联合查询分析：支持通过Join语法将Logstore与MySQL联合查询，结果可保存至MySQL。使用SPL查询和分析日志：当您需要对日志数据进行结构化信息提取、字段操作和数据过滤时，可以使用SPL。重要分析语句默认分析当前Logstore中的数据，不需要填写FROM子句和WHERE子句。分析语句不支持使用offset，不区分大小写，末尾不需要加分号。

示例

* | SELECT status, count(*) AS PV GROUP BY status

查询与分析结果如下图所示：

高级功能

LiveTail：实现实时监控线上日志，减轻运维压力。
日志聚类：采集日志时，提取相似日志的共同模式，快速了解日志全貌。
上下文查询：支持查看指定日志的上下文信息，方便故障排查和问题定位。
字段分析：提供字段分布、统计指标及TOP5时间序列图，帮助理解数据。
事件配置：通过事件配置，轻松获取原始日志的详细信息。
数据集（StoreView）概述：：使用StoreView功能，实现跨地域、跨Store的联合查询。
Copilot：生成、解释和优化SQL语句。

查询功能使用限制

限制项	说明

限制项	说明
关键词个数	关键词查询时，除布尔逻辑符外的条件个数。每次查询最多30个。
字段值大小	单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。
操作并发数	单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个Project的各个Logstore中执行查询操作。
返回结果	每次查询时，每页最多显示100条查询结果，您可翻页读取完整的查询结果。
模糊查询	执行模糊查询时，日志服务最多查询到符合条件的100个词，并返回包含这100个词并满足查询条件的所有日志。更多信息，请参见模糊查询。
查询结果排序	默认按照秒级时间（如果存在纳秒级则以纳秒级时间）从最新开始展示。

分析功能使用限制

限制项	普通实例	独享实例

限制项	普通实例	独享实例
操作并发数	单个Project支持的最大分析操作并发数为15个。例如最大支持15个用户同时在一个Project的各个Logstore中执行分析操作。	单个Project支持的最大分析操作并发数为100个。例如最大支持100个用户同时在一个Project的各个Logstore中执行分析操作。
数据量	单个Shard单次最大支持查询分析1GB索引数据。	单次分析最大支持扫描2000亿行数据。
开启模式	默认开启。	通过开关开启。具体操作，请参见开启SQL独享版。
费用	免费。	根据实际使用的CPU时间付费。
数据生效机制	分析功能只对开启统计功能后写入的数据生效。如果您需要分析历史数据，请对历史数据重建索引。更多信息，请参见重建索引。	分析功能只对开启统计功能后写入的数据生效。如果您需要分析历史数据，请对历史数据重建索引。更多信息，请参见重建索引。
返回结果	执行分析操作后，默认最多返回100行数据，最大返回100MB的数据，超过100MB的分析语句会报错。如果您需要返回更多数据，请使用LIMIT语法。更多信息，请参见LIMIT子句。	执行分析操作后，默认最多返回100行数据，最大返回100MB的数据，超过100MB的分析语句会报错。如果您需要返回更多数据，请使用LIMIT语法。更多信息，请参见LIMIT子句。
字段值大小	单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置统计字段（text）最大长度。更新索引设置只对增量数据有效。具体操作，请参见创建索引。	单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置统计字段（text）最大长度。更新索引设置只对增量数据有效。具体操作，请参见创建索引。
超时时间	分析操作的最大超时的时间为55秒。	分析操作的最大超时的时间为55秒。
Double类型的字段值位数	Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。	Double类型的字段值最多52位。如果浮点数编码位数超过52位，会造成精度损失。

通过索引模式查询和分析日志