全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
业务实时监控服务 ARMS

日志清洗中系统字段介绍

更新时间:2017-08-25 12:47:11

在“日志清洗”环节除了用户定义的字段,通常系统会添加一些默认的字段,主要包括”_line”、”_hostIp”与”_sysTime”

_line

“_line”字段表示每一行日志

如日志格式如下:

  1. 2016-07-28 12:12:12|北京|电子产品|211
  2. 2016-07-28 12:13:12|北京|电子产品|211
  3. 2016-07-28 12:14:12|北京|电子产品|211

进行第一次切分时,其输入key为每一行日志”_line”,其自定义切分形式如下:

line

_hostIp

“_hostIp”字段表示每一行日志的来源IP,目前ARMS支持三种数据源ECS、LogHUb和SDK数据源,其支持关系如下表所示

数据源 是否支持 备注
ECS数据源 支持
LogHub数据源 视情况而定 如果Loghub中的数据是通过SDK写入则不支持;如果LogHub中的数据是SLS抓取的则支持
SDK数据源 不支持

目前智能切分不提供“_hostIp”,只有在自定义切分模式下才提供“_hostIp”,以上面的日志为例来进行说明,点击【日志切分预览】:

hostIp

上图中_hostIp字段为127.0.0.1(点击【日志切分预览】后无论什么数据源_hostIp字段均为127.0.0.1),是因为local模式,任务真正运行时会产生真实数据。

_sysTime

“_sysTime”字段表示日志的处理时间,如果您的日志中没有自己的业务时间,可以选择”_sysTime”时间字段进行聚合计算。

本文导读目录