全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
业务实时监控服务 ARMS

2:日志清洗

更新时间:2018-02-07 15:45:34

日志清洗是指对日志进行切分、静态 join 等操作,最终转化标准的 Key-Value(KV)格式。目前日志清洗支持两种模式:智能切分、自定义切分。

智能切分

该模式会对基于日志抓取的结果进行智能切分,将其转化为标准的 KV 格式,并提供几种可选方案。您可以对所选方案进行调整,包括删除和修改等操作。

  1. 选择智能切分标签页,进入智能切分模式。

  2. 单击获取方案,系统将会推荐几种方案,请按需选择。

    智能切分

  3. 将鼠标指针放在需要修改的字段对应的一行,会显示编辑删除图标。可以根据需要对字段进行微调,例如修改字段名称和切分类型,如下图。

    ARMS Modify Segmentation

提示:修改方案后,如需恢复为推荐方案,请单击重置方案

自定义切分

单击自定义切分标签页即可进入自定义切分模式,具体使用方法请参考自定义切分的使用

以下为示例日志。

  1. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=女装&区域=上海&eventTeyp=3&性别=0&价格=20|iZ28ql4lx29Z
  2. 2016-07-27 23:37:23|c0a895e114526786450161001d1ed9|9|EADS|BIZ-MONITOR|0|类目=童装&区域=深圳&eventTeyp=3&性别=1&价格=30|iZ28ql4lx29Z

通过拖拽操作拼装出如下所示的积木块:

自定义切分样例切分

单击日志切分预览,结果如下图所示:

结果

在进行数据清洗后,可以执行保存操作。单击下一步可以进行数据集等配置。

本文导读目录