本文主要介绍数据加工(旧版)和数据加工(新版)规则语法的对比。
日志服务SPL语言在数据处理场景下与SQL的使用对照请参考SPL与SQL的使用场景对照。
数据同步(无需处理逻辑)
版本 | 脚本说明 |
旧版 | 数据加工(旧版)DSL脚本为空 |
新版 | 数据加工(新版)SPL规则为空 |
数据筛选与过滤:文本类型精确匹配
版本 | 脚本说明 |
旧版 |
|
新版 |
|
数据筛选与过滤:数值类型过滤
版本 | 脚本说明 |
旧版 |
|
新版 |
|
数据筛选与过滤:模糊匹配
版本 | 脚本说明 |
旧版 |
|
新版 |
|
新增字段,比如单个关键信息提取或者构造
版本 | 脚本说明 |
旧版 |
|
新版 |
|
时间信息解析与格式化
版本 | 脚本说明 |
旧版 |
|
新版 |
|
字段处理与筛选
版本 | 脚本说明 |
旧版 |
|
新版 |
|
正则提取多个字段
版本 | 脚本说明 |
旧版 |
|
新版 |
|
JSON Object键值信息展开为数据字段
版本 | 脚本说明 |
旧版 | 数据加工(旧版)JSON查询语言请参见JMES语法。
|
新版 | 数据加工(新版)JSON对象路径引用请参见JsonPath。
|
CSV格式内容提取为数据字段
版本 | 脚本说明 |
旧版 |
|
新版 |
|
逻辑分支处理:并行分支
版本 | 脚本说明 |
旧版 |
等价于以下Python代码结构:
|
新版 |
|
逻辑分支处理:互斥分支if-else/switch
版本 | 脚本说明 |
旧版 |
等价于以下Python代码结构:
|
新版 |
|
按照规则动态选择数据的目标Project/Logstore
版本 | 脚本说明 |
旧版 |
|
新版 |
|
加工结果指定HashKey路由写入对应目标Shard
版本 | 脚本说明 |
旧版 |
|
新版 |
|
打包字段,Json序列化到新字段
版本 | 脚本说明 |
旧版 |
|
新版 |
|
将日志格式转化为时序存储的格式
版本 | 脚本说明 |
旧版 |
|
新版 |
|