日志服务扫描(Scan)查询功能支持免配置索引进行目标字段的扫描,用于查询相关日志,并且支持通过SPL语句对查询结果进行进一步的过滤、转换、解析等操作。本文介绍扫描查询基本语法。
工作流程
日志服务接收到扫描请求后,执行流程主要分为如下两步。
先执行对应的查询语句进行日志查询。
重要第一级管道的查询语句依赖于索引查询,无需索引过滤时可以写
*
。例如执行status:200 | WHERE userId = '123' | extend host=upper(hostname)
语句前,您需为status
字段创建索引,但无需为userId
字段和hostname
字段创建索引。上述索引查询结果的日志,经过SPL语句处理(过滤、转换、解析等操作),处理后的结果作为最终的查询结果。
基本语法
扫描查询模式支持SPL(SLS Processing Language),更多信息请参见SPL语法。对于读取出的原始数据,可以通过SPL语句做结构化信息提取、字段操作、数据过滤等操作,并支持多级管道级联,最终输出经过SPL处理后的结果数据。
索引查询语句 | <spl-cmd> ... | <spl-cmd> ...
示例
按某个条件过滤原始日志
status:200 | where host like '%www%'
计算出新的字段,计算出的字段也可以再次过滤。
status:200 | extend timediff = cast(endTime as bigint) - cast(beginTime as bigint) | where timediff > 100
将JSON字段展开,丢弃原有的JSON字段。
status:200 | parse-json body | project-away body
使用限制
扫描模式下执行SPL,运行时相关限制,请参见使用限制。
不支持随机翻页。
索引查询与扫描查询对比
对比项 | 索引查询 | 扫描查询 |
语法 |
更多信息,请参见查询语法与功能。 |
更多信息,请参见SPL语法。 |
是否需要配置索引 | 需要。 | 不需要。 重要 第一级竖线(|)前的索引查询语句仍依赖于索引。 |
是否支持搭配分析语句 | 支持。 | 支持。 |
是否支持随机翻页 | 支持。 | 不支持。 只能连续翻页(前翻或后翻)。 |
日志直方图 | 基于查询语句的查询结果进行展示。 | 基于查询语句的查询结果、扫描进度进行展示。 |
运算符与函数 | 支持逻辑、数学运算;支持模糊查询;不支持SQL函数。 | |
字段类型 | 由索引配置中的数据类型决定。更多信息,请参见数据类型。 | 无论字段是否已配置索引,在扫描模式下 SP语句中出现的字段均按照text类型处理。详情请参考数据类型转换。 |
结果集大小 | 通过控制台或SDK指定,最大100条。 | 满足下述任一条件,本次扫描结束并返回扫描结果。
|
费用 | 索引流量和索引存储费用。更多信息,请参见按使用功能计费模式计费项。 | 扫描部分按照流量收费,即基于索引查询后扫描命中的数据量收费。 |