全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
业务实时监控服务 ARMS

2:日志清洗

更新时间:2017-11-10 14:12:36

日志清洗是指对日志进行切分、静态 join 等,最终转化标准的 Key-Value(KV) 格式。目前日志清洗支持两种模式:智能切分、自定义切分,请根据需要进行选择。

智能切分

对基于日志抓取的结果进行智能切分,转化为标准的 KV 格式,并提供几种可选方案。您可以对选择的方案进行调整,包括删除和修改等操作。

  1. 选择智能切分页签,进入智能切分模式。

  2. 点击重置方案,系统将会推荐几种方案。请根据需要进行选择。

    智能切分

  3. 将鼠标放在需要修改的字段对应的一行,会显示编辑和删除图标。可以根据需要对字段进行微调。例如修改字段名称和切分类型,如下图。

    修改属性

说明:如果方案被修改后,想还原推荐的方案,重新点击重置方案即可。

自定义切分

点击自定义切分页签即可进入自定义切分模式,具体使用请参考自定义切分的使用

以下为范例日志。

  1. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=女装&区域=上海&eventTeyp=3&性别=0&价格=20|iZ28ql4lx29Z
  2. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=童装&区域=深圳&eventTeyp=3&性别=1&价格=30|iZ28ql4lx29Z

拖拉形成如下所示的积木块:

自定义切分样例切分

单击日志切分预览,结果如下图所示:

结果

在进行数据清洗后,可以执行保存操作,点击下一步可以进行数据集等配置。

本文导读目录