为解决企业用户操作日志的保存与分析问题,联合ActionTrail+OSS+DLA+Quick BI,阿里云推出审计日志数据分析方案。将ActionTrail的审计日志定时同步到OSS进行长周期(超过90天)保存,利用Data Lake Analytics将日志数据标准化,利用Quick BI进行审计日志的主题式分析,从而完成海量、低成本的审计日志分析。

方案介绍

随着网络信息化的成熟发展、国家网络安全法规的深入落实要求,企业组织也越来越重视操作日志的保存与分析,其中云计算中的资源的操作记录是一类非常重要的日志。

阿里云从用户角度出发,研发了一整套小而精的审计日志数据分析方案。利用阿里云操作审计(ActionTrail)来构建长周期的云上操作审计方案,利用阿里云对象存储服务(Object Storage Service,OSS)来持久存储由ActionTrail实时投递的审计日志,利用阿里云云原生数据湖分析(Data Lake Analytics,DLA)来标准化存储在OSS的审计日志,利用阿里云智能分析套件Quick BI主题式分析审计日志。方案架构图如下所示。架构图

方案优势

  • 操作审计(ActionTrail)帮助您收集用户使用阿里云服务的操作日志,将操作日志同步至阿里云对象存储(OSS)等存储产品中,以Array形式保存。这些存储产品具有极高的可用性,可以通过加密和权限控制,保证审计数据安全。可用于安全分析、资源变更追踪以及合规性审计等场景。
  • OSS低廉的存储成本,能够让您的日志文件存储任意长的时间。同时提供访问日志的存储和查询功能,可满足您对企业数据的监控审计需求。
  • DLA可以将存储的多条日志记录拆分为多条数据,并以JSON格式保存每条操作事件转换为结构化的数据表,使得面向OSS存储空间的数据解析被大大简化,直接实现可视化的标准SQL分析。

操作流程

  1. ActionTrail审计日志:审计日志统一采集

    阿里云构建了操作审计(ActionTrail)产品,为云上客户提供审计日志服务。操作审计 (ActionTrail)会记录您的云账户资源操作,提供操作记录查询。操作审计支持记录的云账户资源请参见支持操作审计的云服务及事件

  2. 审计日志持久化:基于ActionTrail将审计日志投递到OSS Bucket中
    基于ActionTrail的创建跟踪功能,您可以保存更长时间的审计事件。操作审计会将事件保存到您指定的OSS Bucket中。审计日志投递操作请参见创建单账户跟踪
    说明 操作审计默认记录最近90天的操作事件,为了满足等保2.0(网络安全等级保护2.0制度)将操作事件保存180天及以上的要求,您可以创建跟踪持续采集操作事件并投递至对象存储OSS。默认情况下,投递到OSS Bucket的操作事件会永久保存。
  3. 日志标准化:基于DLA实现ActionTrail审计日志标准化

    将ActionTrail的审计日志投递到OSS Bucket后,您会发现日志格式并非HADOOP标准JSON格式且存在大量小文件,非常不便于解析和查看审计日志。 阿里云联合DLA专项定制了ActionTrail日志清洗服务,基于ActionTrail日志清洗功能,可以快速实现ActionTrail日志数据的格式化,而且可以基于DLA实现亿级别数据的快速查询与分析。使用DLA分析存储在Bucket的操作日志请参见使用DLA分析OSS中的事件

  4. 审计日志分析:基于Quick BI实现审计日志自助分析

    在DLA进行日志标准化基础上,利用Quick BI进行审计日志自助分析。 在实际过程中,可以根据日志的来源系统进行业务拆分,形成不同业务分析主题满足各业务审计日志查询要求。连接DLA数据源的操作请参见云数据源Data Lake Analytics

详细请参见阿里云审计日志持久化联合解决方案