本文介绍了日志清洗中的主要系统字段_line_hostIp_sysTime

在日志清洗环节中,除了您定义的字段,系统还会添加一些默认字段,主要包括以下字段。

  • _line

    _line 字段表示每一行日志。

    对于以下日志:

    2016-11-08 11:00:01|user_abc|123456|下单
    2016-11-08 11:00:02|user_abc|123456|支付
    2016-11-08 11:10:01|user_abc|123456|退货

    首次切分时,输入 key 为每一行日志的 _line,自定义切分形式如下:

  • _hostIp

    _hostIp 字段表示每一行日志的来源 IP。各类型数据源对该字段的支持情况如下表所示:

    数据源 是否支持_hostIp
    StarAgent 数据源 支持
    鹊桥数据源 支持
    MQ 数据源 不支持

    目前仅自定义切分模式提供 _hostIp,智能切分模式不提供。以上方日志为例,单击日志切分预览后可得:

    图中的 _hostIp 字段为 127.0.0.1。

    说明 单击 日志切分预览后,无论是什么数据源, _hostIp 字段均为 127.0.0.1,因为是本地模式,当任务真正运行时会产生真实数据。
  • _sysTime

    _sysTime 字段表示日志的处理时间,如果您的日志中没有自己的业务时间,可以选择 _sysTime 时间字段进行聚合计算。