本文介绍了日志清洗中的主要系统字段_line、_hostIp和_sysTime。

在日志清洗环节中，除了您定义的字段，系统还会添加一些默认字段，主要包括以下字段。

  • _line

    _line 字段表示每一行日志。

    对于以下日志：

    2016-11-08 11:00:01|user_abc|123456|下单
2016-11-08 11:00:02|user_abc|123456|支付
2016-11-08 11:10:01|user_abc|123456|退货

    首次切分时，输入 key 为每一行日志的 _line，自定义切分形式如下图所示。

  • _hostIp

    _hostIp 字段表示每一行日志的来源 IP。各类型数据源对该字段的支持情况如下表所示。

    数据源 是否支持_hostIp
    StarAgent 数据源 支持
    鹊桥数据源 支持
    MQ 数据源 不支持

    目前仅自定义切分模式提供 _hostIp，智能切分模式不提供。以上方日志为例，单击日志切分预览后如下图所示。

    图中的 _hostIp 字段为 127.0.0.1。

    说明 单击日志切分预览后，无论是什么数据源，_hostIp 字段均为 127.0.0.1，因为是本地模式，当任务真正运行时会产生真实数据。
  • _sysTime

    _sysTime 字段表示日志的处理时间，如果您的日志中没有自己的业务时间，可以选择 _sysTime 时间字段进行聚合计算。