本文介绍了日志清洗中的主要系统字段_line、_hostIp和_sysTime。
在日志清洗环节中,除了您定义的字段,系统还会添加一些默认字段,主要包括以下字段。
- _line
_line 字段表示每一行日志。
对于以下日志:
2016-11-08 11:00:01|user_abc|123456|下单 2016-11-08 11:00:02|user_abc|123456|支付 2016-11-08 11:10:01|user_abc|123456|退货
首次切分时,输入 key 为每一行日志的 _line,自定义切分形式如下图所示。
- _hostIp
_hostIp 字段表示每一行日志的来源 IP。各类型数据源对该字段的支持情况如下表所示。
数据源 是否支持_hostIp StarAgent 数据源 支持 鹊桥数据源 支持 MQ 数据源 不支持 目前仅自定义切分模式提供 _hostIp,智能切分模式不提供。以上方日志为例,单击日志切分预览后如下图所示。
图中的 _hostIp 字段为 127.0.0.1。
说明 单击日志切分预览后,无论是什么数据源,_hostIp
字段均为 127.0.0.1,因为是本地模式,当任务真正运行时会产生真实数据。 - _sysTime
_sysTime 字段表示日志的处理时间,如果您的日志中没有自己的业务时间,可以选择
_sysTime
时间字段进行聚合计算。
在文档使用中是否遇到以下问题
更多建议
匿名提交