全部产品
云市场

概述

更新时间:2019-12-09 14:11:13

背景信息

操作审计(ActionTrail)是阿里云提供的云账号资源操作记录的查询和投递服务,可用于安全分析、资源变更追踪以及合规性审计等场景。

ActionTrail可用于记录用户在阿里云云产品上的所有操作日志,为分析和审计用户日志为提供原始数据。您可以通过ActionTrail将操作日志数据投递到对象存储服务(Object Storage Service,OSS),然后直接分析OSS中的数据,但由于OSS中数据格式或者文件数量多等问题,为您直接分析OSS数据增加了困难。

直接分析ActionTrail OSS文件的痛点

通过ActionTrail控制台,可以查看用户在各个云产品的操作日志。对于30天内的日志,ActionTrail支持投递到日志服务(SLS)进行分析;对于30天之前的数据可以投递到OSS上,但是要分析OSS中的数据却会十分困难,原因如下所示。

  • 日志数据格式对分析不方便

    ActionTrail中保存的是JSON格式的数据,一行内有多条数据,数据以一个Array的形式保存,例如[{"eventId":"event0"...},{"eventId":"event1"...}]

    理论上可以分析上述格式的JSON数据,但非常不方便,需要先把每行数据拆分成多条记录,然后再对拆分后的记录进行分析。

  • 产生的小文件太多

    当用户通过账号(阿里云账号和RAM子账号)频繁操作云产品时,每天产生的操作日志文件数非常多。以操作DLA的帐号为例,该账号下每天会产生几千个数据文件,一个月的文件数将达到几十万个,大量的数据文件对大数据分析非常不方便,分析数据特别耗时,或者需要特别大的集群资源才能进行大数据分析。

实施方案

DLA提供ActionTrail日志自动清洗的解决方案,通过DLA的自动清洗,ActionTrail投递到OSS上的日志文件可以转换为DLA中可以直接查询的数据表,同时自动进行数据分区、压缩等优化,方便您对帐号内云产品的操作进行分析和审计。