过滤日志
日志3 不采集 日志中没有符合 采集日志 中的正则表达式的字段。JSON配置方式 参数说明 配置 type 为 processor_filter_key_regex，detail 说明如下表所示。说明 存在日志字段名称完全匹配 Include 中的正则表达式，且不匹配 Exclude 中的正...
字段操作函数
关于正则表达式的更多信息，请参见 正则表达式。至少需要配置一个日志字段。regex Boolean 否 如果设置为False，表示不使用正则表达式进行匹配。当不配置该参数时，系统默认取值为True。返回结果 返回删除后的日志。函数示例 如果 content ...
钉钉应用配置SLS审计日志
eventName=([a-zA-Z0-9_-]+),request=(.*),response=(.*)提取字段的正则表达式，根据该表达式，解析日志文本 日志抽取内容 提取字段名称 提取字段值 根据正则提取的字段*eventTime 2022-03-09 18:36:13.236 事件的发生时间*eventLevel...
正则表达式入门教程
分隔符：用于标记正则表达式的开始和结束，通常为/或者#。转义字符：使用 \ 将有特殊作用的字符（元字符、分隔符等）转义为普通字符。例如 \.表示匹配半角句号。如下图所示，Regex101工具默认在正则表达式 a.\d\.前添加了分隔符/。其中，a ...
过滤处理
白名单 只采集符合白名单条件的日志，您需要设置目标字段名称和用于过滤的正则表达式。此处的正则表达式仅支持全文匹配，不支持关键词部分匹配。如何配置正则表达式，请参见 正则表达式入门教程。各个白名单之间为与关系。相关示例如下：...
全局操作函数概览
字段值提取函数 e_regex 根据正则表达式提取字段的值并赋值给其他字段。e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。e_kv 通过quote提取多个源字段中的键值对信息。e_kv_delimit 通过分隔符...
正则表达式函数
e_set("regex2",regex_select(v("str"),r"\d+",mi=1))加工结果 regex:123 regex2:456 str:abc123 xyz456 示例3 原始日志 str:abc123 xyz456 加工规则#提取字段str中符合正则表达式的第一个表达式的第一个分组的值。e_set("regex",regex_...
模式匹配
一些例子，使用#"定界返回串：substring('foobar' from '%"o_b#"%' for '#')oob substring('foobar' from '#"o_b#"%' for '#')NULL POSIX正则表达式 正则表达式匹配操作符表列出了所有可用于 POSIX 正则表达式模式匹配的操作符。...
Quick BI添加计算字段时如何引用其他计算字段
产品名称 Quick BI 产品模块 数据集 概述 本文向您介绍数据集添加计算字段时，嵌套其他计算字段的方法。问题描述 已经添加了一个计算字段（毛利率字段），另一个计算字段需要用到该计算字段，但是无法选择到这个字段 问题原因 已创建的计算...
新建计算字段
常见的字段表达式示例请参见 场景举例。选择 数据类型 和 字段类型 后，单击 确定。当数据类型选择 度量 时，支持设置 数值格式化 为整数、保留1位小数、保留2位小数、百分比、百分比1位小数、百分比2位小数、自定义和手动输入。其中手动...
提取字段
正则表达式 正则表达式。您需要使用半角圆括号()标注待提取的字段。结果字段 为提取的内容指定字段名。支持添加多个字段名。原始字段缺失报错 选中该选项后，如果原始日志中无您所指定的原始字段，系统将报错。正则不匹配报错 选中该选项后...
Quick BI中计算字段的表达式用in函数，如果引号内的...
比如如下计算字段，表达式刚好到"主营业务收入"时换行，导致该计算字段中值“主营业务收入”失效。问题原因 换行的时候会自动加上换行符' '，导致对应的值就判断不到了。解决方案 换行操作放在引号外面即可，比如：适用于 Quick BI
质量规则模板类型
有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照对比 支持对单字段是否在码表中进行判断。数据标准码表参照...
质量规则模板类型
有效性 字段格式校验 用于识别表达式或者正则表达式对单字段的格式进行校验。字段长度校验 用于对单字段的长度进行校验。字段值域校验 用于对单字段的取值范围进行校验。码表参照对比 支持对单字段是否在码表中进行判断。数据标准码表参照...
Quick BI中数据集计算字段使用%后报错
问题描述 Quick BI中数据集报错信息...问题原因 新建计算字段的表达式中使用了%，目前不支持这样的计算格式。解决方案 1.将表示式中的%换算成小数形式，如0.005，再参与计算。2.再将计算字段运用于仪表板制作中，即不会报错。适用于 Quick BI
从RDS MySQL数据库获取数据进行数据富化
123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正则表达式，对应日志...
过滤器
支持正则表达式的全匹配模式和部分匹配模式。部分匹配的正则表达式在模式中由一对括号（…）分隔。如果正则表达式为全匹配模式，则返回第一个匹配结果；如果正则表达式中包含部分匹配语法，则返回第一个满足的子匹配结果。例如列值为1aaa51...
配置字符串替换
正则匹配：是否用于正则表达式匹配。原字符串：查找的原字符串。新字符串：替换后的新字符串。大小写敏感：原字符串查找是否大小写敏感。添加条件 您可以添加多个字符串替换规则。输出字段 替换后的最终输出字段。单击工具栏中的 图标。
Apache模式解析
正则表达式 用于提取Apache日志的正则表达式。日志服务 会根据 APACHE配置字段 中的内容自动生成该正则表达式。日志提取字段 根据 APACHE配置字段 中的内容自动生成日志字段（key）。解析失败时保留原始字段 选中 解析失败时保留原始字段，...
转换函数
函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。ct_float 将字段或表达式的值转换为浮点数。ct_str 将字段或表达式的值转换为字符串。ct_bool 将字段或表达式值转换为布尔值。数字转换 ct_chr 将字段...
Quick BI字段修改中无法使用case when表达式
问题描述 Quick BI数据集中，对字段修改时，无法使用case when表达式。问题原因 编辑字段中无法使用case ...2.在新建计算字段页面，字段表达式中可以使用case when 及其他功能的表达式对原始字段进行计算加工生成新的字段。适用于 Quick BI
SELECT 语法
同时使用 GROUP BY 和 ORDER BY 时，需尽量保证 ORDER BY 后面的表达式或者字段与 GROUP BY 保持一致，否则会占用较多内存计算，影响性能。例如，在下面的语句中，ORDER BY 后面的字段与 GROUP BY 不一致，容易影响性能。SELECT*FROM trade...
导入Amazon S3文件
调整正则表达式的方法，请参见 如何调试正则表达式。文件修改时间过滤 通过文件修改时间过滤S3文件，用于准确定位待导入的文件。所有：如果您想导入所有符合条件的文件，请选择该项。某个时间开始：如果您想导入某个时间点后修改过的文件，...
导入OSS数据
调整正则表达式的方法，请参见 如何调试正则表达式。文件修改时间过滤 通过文件修改时间过滤OSS文件，用于准确定位待导入的文件。所有：如果您想导入所有符合条件的文件，请选择该项。某个时间开始：如果您想导入某个时间点后修改过的文件...
如何调试正则表达式
说明 完整正则模式提供自动生成正则表达式功能，但是在为多行日志生成正则表达式时，会存在问题，本文以Regex101为例进行正则表达式的调试和修改。具体操作 访问 Regex101，将日志服务根据日志样例自动生成的完整正则表达式拷贝到 REGULAR ...
过滤器
支持正则表达式的全匹配模式和部分匹配模式。部分匹配的正则表达式在模式中由一对括号（…）分隔。如果正则表达式为全匹配模式，则返回第一个匹配结果；如果正则表达式中包含部分匹配语法，则返回第一个满足的子匹配结果。例如列值为1aaa51...
数据脱敏
123abcdefg"Logtail插件处理配置 {"type":"processor_desensitize","detail":{"SourceKey":"password","Method":"const","Match":"full","ReplaceString":"*"} } 处理结果"password":"*"示例2 使用正则表达式指定目标字段值中的敏感内容，...
正则表达式
本文介绍正则表达式的匹配方式以及特殊字符的转义处理。完全匹配 正则表达式的值与字符串完全一致，则是完全匹配。例如 1234 与 \d+完全匹配。有些函数支持部分匹配，您可以在开头与结尾添加^与$将部分匹配的场景变成完全匹配。例如正则...
配置孪生规则
支持的运算符和函数，请参见 规则表达式。表达式中变量的字段名称必须使用 输入参数 中的 参数名称 字段。表达式中包含多个入参时，任何一个属性值变更，都会触发规则。执行规则时，其他入参的值，取对应节点属性的最新快照值。例如：定义...
正则式函数
regexp_extract_all函数 regexp_extract_all函数用于提取目标字符串中符合正则表达式的子串。语法 提取目标字符串中符合正则表达式的子串，并返回所有子串的集合。regexp_extract_all(x,regular expression)提取目标字符串中符合正则表达式...
如何优化正则表达式的性能
通过优化正则表达式的性能，可以达到优化采集性能的目的。关于如何优化正则表达式，为您提供以下建议：使用更为精确的字符。不随意使用.*来匹配字段，这个表达式包含了很大的搜索空间，容易发生误匹配，导致匹配性能下降。比如您要提取的...
Sql与OpenSearch查询语法的对比
OpenSearch：两种子句可以实现过滤（query 和 filter），二者的区别则query是倒排索引，查询效率高，但功能没有filter灵活，无法实现带表达式的计算逻辑，而filter是正排索引，查询效率要低于query，但支持表达式和函数的计算逻辑，功能更...
Sql与OpenSearch查询语法的对比
OpenSearch：两种子句可以实现过滤（query 和 filter），二者的区别则query是倒排索引，查询效率高，但功能没有filter灵活，无法实现带表达式的计算逻辑，而filter是正排索引，查询效率要低于query，但支持表达式和函数的计算逻辑，功能更...
注册用户
登录密码 用于设置注册用户的登录密码，此处应填写 CHAR 类型的常量或变量表达式。昵称 用于设置注册用户的昵称，此处应填写 CHAR 类型的常量或变量表达式。用户角色 用于设置注册用户的角色，此处可选择在权限模型中定义的角色，详情请...
用户登录
登录密码 用于设置登录用户的登录密码，此处应填写 CHAR 类型的常量或变量表达式。用户对象名称 用于设置登录成功对象的变量名称，该变量名称可在后继节点中使用，变量类型为系统用户实体类型。异常说明 错误码 说明 解决方案 REQUEST_DENY...
创建导出任务
表达式引用 任务配置过程中，对于时间点映射，标签映射这两项配置，因为需要灵活引用上下文信息，这2项配置支持使用表达式来引用一些上下文信息，表达式的语法为：说明${ context:variable } 表达式中logColumn前缀表示引用原始sls log中...
资源标签匹配指定正则表达式
关联的资源类型下实体资源标签存在匹配指定的正则表达式的键值对，视为“合规”。支持输入一组标签键值正则表达式。应用场景 标签可以用于权限隔离、账单划分和自动化运维等常见运维场景。该规则支持正则表达式的键值对，适合对标签格式有...
SPL指令
语法|where参数说明 参数 类型 必填 说明 sql-expr SQLExp 是 SQL表达式，保留满足此表达式的数据条目。重要 SQL表达式中null值处理，请参见 SQL表达式null值处理。示例 示例1：根据字段内容过滤数据条目。where userId='123' 示例2：使用...
ValueTransferRule
支持正则表达式的全匹配模式和部分匹配模式。部分匹配的正则表达式在模式中由一对括号（…）分隔。如果正则表达式为全匹配模式，则返回第一个匹配结果；如果正则表达式中包含部分匹配语法，则返回第一个满足的子匹配结果。例如列值为1aaa51...
Logtail配置
false：只替换字段中匹配正则表达式的第一部分内容。const string 否"*"当 type 设置为 const 时，必须配置。配置示例 例如日志中 content 字段的值为[{'account':'1812213231432969','password':'04a23f38'},{'account':'1812213685634','...
- 产品推荐
- 这些文档可能帮助您