通过消费组读取文本日志进行模板发现

参数

说明

最大模板数

日志模板发现算法能发现的最大模板数量。

最大实体数

最多处理多少个日志实体（日志分组），如果日志中出现的实体数量超过最大实体数，则忽略新出现的日志实体。实体数量越多，模板发现算法的耗时越长。

最大分词数

限制每一条日志分词后最大的词数，忽略日志中超过最大分词数的部分。

起始常量长度

表示日志句首的若干个词一定是最终日志模板中的一部分。例如起始常量长度配置为2，那么算法认为每条日志中的前2个词一定是最终日志模板中的一部分。

采样率

通过采样率调整文本分析作业处理日志的比例，默认为1，即处理全部日志。如果采样率小于1，文本分析作业会随机选取对应比例的日志进行处理。

该参数适用于海量日志场景，当日志量超过作业的处理能力时，您可以调小该参数。

分隔符

文本分析作业使用分隔符（包括此处配置的分隔符和空白字符）对日志进行分词。例如日志为11:22:33:44:55，分隔符为冒号（:），日志内容将被解析为11、22、33、44和55。

数据过滤配置

通过日志等级字段过滤日志。

• 如果日志的风险等级与白名单中的日志等级相匹配，则文本分析作业将对其进行分析。

• 如果日志的风险等级与黑名单中的日志等级相匹配，则文本分析作业不会对其进行分析。

通识字段模板

在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如模板名称为IP，模板表达式为((?<=[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})((?=[^A-Za-z0-9])|$)，表示符合该模板表达式的文本内容将被替换为IP。

模板表达式需满足Python正则表达式规则，最多可配置5个模板。

输入待测试的文本内容后，单击测试，验证您所配置的字段模板是否符合预期。例如输入192.0.2.0，匹配结果为<:IP:>，表示字段模板的配置符合预期。