全部产品
云市场
云游戏

ActionTrail日志清洗

更新时间:2020-07-16 21:30:58

DLA提供ActionTrail日志自动清洗解决方案,可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表,同时自动对数据进行分区和压缩,方便您分析和审计对云产品的操作。

日志分析痛点

操作审计ActionTrail是阿里云提供的云账号资源操作记录的查询和投递服务,可用于安全分析、资源变更追踪以及合规性审计等场景。您可以通过ActionTrail控制台,查看各个云产品的操作日志。对于30天以内的日志,ActionTrail支持投递到日志服务SLS进行分析;对于30天以外的数据可以投递到OSS上,但直接分析OSS中的数据有以下痛点。

  • 日志数据格式复杂,不利于直接分析。

    ActionTrail中保存的是JSON格式的数据,一行内有多条数据,数据以一个Array的形式保存,例如[{"eventId":"event0"...},{"eventId":"event1"...}]

    理论上可以分析上述格式的JSON数据,但非常不便,需要先把每行数据拆分成多条记录,然后再对拆分后的记录进行分析。

  • 小文件多,分析数据耗时且占用大量系统资源。

    当您通过账号(阿里云账号和RAM子账号)频繁操作云产品时,每天产生的操作日志文件数非常多。以操作DLA的帐号为例,该账号下每天会产生几千个数据文件,一个月的文件数将达到几十万个,大量的数据文件对大数据分析非常不便,分析数据耗时,且需要足够大的集群资源才能进行大数据分析。

前提条件

使用ActionTrail日志清洗之前,您需要按照以下步骤做好准备工作。

注意:使用ActionTrail日志清洗功能时,要求ActionTrail、OSS、DLA所属Region相同,否则无法使用该功能。

  • ActionTrail

    在ActionTrail中创建跟踪,请参见创建跟踪

  • OSS

    1. 开通OSS服务,请参见开通OSS服务

    2. 创建Bucket,请参见创建Bucket

    3. 新建文件夹,请参见新建文件夹

      根据业务需求,判断是否需要新建文件夹,将ActionTrail投递过来的数据存储在新建文件夹中。

步骤一:创建Schema

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏的数据湖构建 > 数据入湖,在数据入湖页面单击ActionTrail日志清洗中的进入向导

  4. ActionTrail日志清洗页面,根据页面提示进行参数配置。

    创建Schema

    参数 说明
    ActionTrail文件根目录 ActionTrail投递到OSS中日志数据的存储目录。

    目录以AliyunLogs/Actiontrail/结尾。

    • 选择位置:自定义ActionTrail投递到OSS中的日志数据的存储目录。
    • 自动发现:DLA自动设置ActionTrail投递到OSS中的日志数据的存储目录。
    Schema名称 设置Schema的名称,即OSS在DLA中的映射数据库名称。
    清洗后数据保存位置 DLA清洗OSS数据后,将结果数据回写入OSS即数据清洗后的存储位置。
    • DLA默认指定存储位置。
    • 支持您自定义存储位置。
    数据清洗时间 设置每天DLA清洗OSS数据的时间。

    系统默认的数据清洗时间是00:30,您可以根据业务规律,将数据清洗时间设置在业务低峰期,以免清洗过程中可能对业务造成的影响。

  5. 完成上述参数配置后单击创建,创建Schema。

Schema创建成功后,ActionTrail投递到OSS中的日志数据并未同步到DLA中,即DLA中没有创建OSS日志文件对应的表,您需要通过单击立即同步来创建表同步表数据。

步骤二:同步数据

创建Schema后,单击立即同步同步数据,也可以在任何需要的时候通过以下步骤同步数据。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择集群所在地域。

  3. 单击左侧导航栏的数据湖构建 > 元数据管理

  4. 元数据管理页面,单击目标数据源右侧的详细信息

  5. 元数据管理页面,单击配置页签。

    配置

  6. 单击立即同步启动数据同步任务。

    配置页签下,单击更新更新Schema配置。

  7. 单击页签,查看数据同步情况。

    查看表

    数据同步到DLA以后,您就可以在DLA中使用标准SQL语法对ActionTrail日志数据进行分析。