结构化数据SQL计算指令-日志服务(SLS)-阿里云帮助中心

本文主要介绍结构化数据SQL计算指令的用法和示例。

extend

通过SQL表达式计算结果产生新字段。支持的SQL函数列表，请参见SPL支持的SQL函数列表。

语法

| extend <output>=<sql-expr>, ...

参数说明

参数	类型	必填	说明
output	Field	是	添加的目标字段名称。不支持多个表达式结果输出至相同的目标字段。重要如果目标字段与输入数据中字段重名，则直接使用新的类型以及值将其覆盖。
sql-expr	SQLExpr	是	数据处理表达式。重要关于null值处理，请参见SPL表达式null值处理。

示例

示例1：使用计算表达式。

* | extend Duration = EndTime - StartTime

示例2：使用正则表达式。

* | extend server_protocol_version=regexp_extract(server_protocol, '\d+')

示例3：提取JSON路径内容，并转换部分字段的数据类型。

SPL语句

*
| extend a=json_extract(content, '$.body.a'), b=json_extract(content, '$.body.b')
| extend b=cast(b as BIGINT)

输入数据
```
content: '{"body": {"a": 1, "b": 2}}'
```

输出结果

content: '{"body": {"a": 1, "b": 2}}'
a: '1'
b: 2

where

根据SQL表达式过滤数据，保留满足SQL表达式的数据条目。where指令支持的SQL函数列表，参见SPL支持的SQL函数列表。

语法

| where <sql-expr>

参数说明

参数	类型	必填	说明
sql-expr	SQLExp	是	SQL表达式，保留满足此表达式的数据条目。重要 SQL表达式中null值处理，请参见SPL表达式null值处理。

示例

示例1：根据字段内容过滤数据条目。
```
* | where userId='123'
```
示例2：使用匹配字段名的正则表达式过滤数据条目。
```
* | where regexp_like(server_protocol, '\d+')
```
示例3：转换数据类型后，匹配所有服务端错误数据。
```
* | where cast(status as BIGINT) >= 500
```

SPL支持的SQL函数列表

分类	说明	常用函数
聚合函数	对目标数据集进行汇总计算，生成单一统计结果。	avg 函数 count 函数 max 函数 min 函数 sum 函数
字符串函数	处理文本数据，包括查找、替换、截取、拼接、格式化等。	concat 函数 length 函数 position 函数 replace 函数 split 函数
日期和时间函数	对日志中的日期和时间进行格式转换，分组聚合等处理。	current_date 函数 date 函数 day 函数 date_trunc 函数 time_series 函数
JSON函数	处理 JSON 对象，包括提取、转换和统计。	json_array_contains 函数 json_array_get 函数 json_array_length 函数 json_extract 函数 json_extract_scalar 函数
正则式函数	模式匹配与文本处理。	regexp_extract_all 函数 regexp_extract 函数 regexp_extract_bool函数 regexp_replace 函数 regexp_split 函数
同比和环比函数	计算时间序列数据的相对变化。	compare 函数 ts_compare 函数
数组函数和运算符	对数组进行增删改查、遍历和转换。	下标运算符 array_distinct 函数 array_intersect 函数 array_join 函数 reverse 函数
Map映射函数和运算符	操作键值对。	cardinality函数 element_at 函数 histogram 函数 histogram_u 函数 map 函数
数学计算函数	数值计算、取整、随机数、三角函数等。	abs 函数 ceil 函数 log 函数 mod 函数 random 函数
数学统计函数	数据分布分析与数值计算。	corr 函数 covar_pop 函数 regr_intercept 函数 beta_cdf 函数 inverse_chi_squared_cdf 函数
类型转换函数	处理数据类型间的转换。	cast 函数 try_cast 函数 typeof 函数
窗口函数	基于数据窗口的聚合或排序。	聚合函数 dense_rank 函数 lag 函数
IP函数	处理 IP 地址的解析与计算。	ip_to_city 函数 ip_prefix 函数 ipv6_to_city 函数
URL函数	解析 URL 结构。	url_encode 函数 url_decode 函数 url_extract_fragment 函数 url_extract_path 函数 url_extract_query 函数
估算函数	基于数据预测或填充缺失值。	approx_distinct 函数 approx_percentile 函数 numeric_histogram 函数 numeric_histogram_u 函数
二进制函数	处理二进制类型的数据。	from_base64 函数 from_big_endian_64 函数 from_hex 函数 to_hex 函数 sha256 函数
位运算函数	直接操作二进制位。	bit_count 函数 bitwise_and 函数 bitwise_not 函数 bitwise_or 函数 bitwise_xor 函数
空间几何函数	处理空间几何体。	ST_AsText 函数 ST_GeometryFromText 函数 ST_Boundary 函数 ST_Buffer 函数 ST_Contains 函数
地理函数	地理位置分析与地图计算。	geohash 函数
颜色函数	颜色表示与转换。	bar 函数 color 函数 render 函数 rgb 函数
HyperLogLog函数	对大数据集进行统计处理，牺牲精度以节省内存。	approx_set 函数 cardinality 函数 empty_approx_set 函数 merge 函数
电话号码函数	分析中国内地地域电话号码的归属地、运营商等信息。	mobile_carrier 函数 mobile_city 函数 mobile_province 函数
比较运算符	判断参数的大小关系，适用于任意可比较的数据类型（double、bigint、varchar、timestamp和date）。	基础运算符 ALL 运算符 ANY 运算符 BETWEEN 运算符 DISTINCT 运算符
逻辑运算符	组合多个布尔条件，控制逻辑流程。	AND 运算符 OR 运算符 NOT 运算符
单位换算函数	换算数据量或时间间隔的单位。	convert_data_size 函数 format_duration 函数
窗口漏斗函数	分析用户行为、APP流量、产品目标转化等数据。	window_funnel 函数
Lambda表达式	在SQL分析语句和SPL语句中定义Lambda表达式，并将该表达式传递给指定函数，丰富函数的表达。	filter 函数 reduce 函数 transform 函数
条件表达式	基于条件分支返回不同值。	CASE WHEN 表达式 IF 表达式 COALESCE 表达式 NULLIF 表达式 TRY 表达式