全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件 ET大脑
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
业务实时监控服务 ARMS

日志清洗中系统字段介绍

更新时间:2018-01-22 15:44:27

在“日志清洗”环节,除了用户定义的字段,通常系统会添加一些默认的字段,主要包括_line_hostIp_sysTime

_line

_line字段表示每一行日志。例如,日志格式如下:

  1. 2016-07-28 12:12:12|北京|电子产品|211
  2. 2016-07-28 12:13:12|北京|电子产品|211
  3. 2016-07-28 12:14:12|北京|电子产品|211

进行第一次切分时,其输入 Key 为每一行日志_line,其自定义切分形式如下:

line

_hostIp

_hostIp字段表示每一行日志的来源 IP,目前 ARMS 支持 ECS、LogHUb 和 SDK 数据源,其支持关系如下表所示。

数据源 是否支持 备注
ECS 数据源 支持
LogHub 数据源 视情况而定 如果 Loghub 中的数据是通过 SDK 写入则不支持;如果 LogHub 中的数据是 SLS 抓取的则支持。
SDK 数据源 不支持

目前智能切分不提供_hostIp,只有在自定义切分模式下才提供_hostIp。以上面的日志为例来说明,单击日志切分预览

hostIp

上图中_hostIp字段为 127.0.0.1(单击日志切分预览后,无论什么数据源,_hostIp字段均为 127.0.0.1),是因为处于本地模式。任务真正运行时会产生真实数据。

_sysTime

_sysTime字段表示日志的处理时间,如果您的日志中没有自己的业务时间,可以选择_sysTime时间字段进行聚合计算。

本文导读目录