扫描（Scan）查询语法

• 原始字段：标识 [R]，适用于扫描搜索。

• 索引字段：标识 [I]，适用于索引搜索。

[I] __topic__: nginx-access-log
[I] Status: 200
[I] Host: api.abc.com
[R] Method: PUT
[R] ClientIp: 192.168.1.1
[R] Payload: {"Item": "1122", "UserId": "112233", "Operation": "AddCart"}
[R] BeginTime: 1705029260
[R] EndTime: 1705028561
[R] RT: 87
[R] Uri: /request/path-3/file-1
[R] UserAgent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; ar) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4

按照不同条件进行过滤​

• 等值比较。

  Status: 200 | where ClientIp = '192.168.1.1'

• 大小写不敏感搜索。

  __topic__: nginx-access-log | where lower(Method) != 'put'

• 模糊匹配。

  Status: 200 | where UserAgent like '%Macintosh%'

• 数值比较。

  注意字段类型默认是varchar，进行数值比较时要先将类型转换成bigint。

  Status: 200 |  where cast(RT as bigint) > 50

• 正则匹配。

  # 找出包含"path-数字"的Uri
  Status: 200 | where regexp_like(Uri, 'path-\d+')

计算出新的字段

​通过extend指令，可以从已有的字段信息中，计算出新的字段。

• 从正则提取字段。

  # 提取出Uri字段里的文件名编号
  * not Status: 200 | extend fileNumber=regexp_extract(Uri, 'file-(\d+)', 1)

• 从JSON提取字段。

  Status:200 | extend Item = json_extract_scalar(Payload, '$.Item')

• 按照分隔符提取。

  Status:200 | extend urlParam=split_part(Uri, '/', 3)

• 根据多个字段值计算出新的字段。

  #根据BeginTime和EndTime计算出时间差
  Status:200 | extend timeRange = cast(BeginTime as bigint) - cast(EndTime as bigint)

保留、移除、重命名字段​

• 仅保留某些字段（移除所有其他字段）。

  Status:200 | project Status, Uri

• 移除某些字段（其它字段保留）。

  Status:200 | project-away UserAgent

• 重命名字段。

  Status:200 | project-rename Latency=RT

展开非结构化数据

• 展开JSON中的所有字段。

  #过滤Payload非空的，并且将所有的json字段展开
  __topic__: nginx-access-log | where Payload is not null | parse-json Payload

• 将JSON字段展开，丢弃原有的JSON字段。

  status:200 
  | parse-json body 
  | project-away body

• 正则提取出多个字段。

  Status:200 | parse-regexp Uri, 'path-(\d+)/file-(\d+)' as pathIndex, fileIndex

多级管道级联

以上示例中所有操作，都可以在同一个查询语句中，通过多级管道级联，执行顺序是从前往后依次执行。

Status:200 
| where Payload is not null 
| parse-json Payload 
| project-away Payload 
| where Host='api.qzzw.com' and cast(RT as bigint) > 80 
| extend timeRange=cast(BeginTime as bigint) - cast(EndTime as bigint)
| where timeRange > 500
| project UserId, Uri