全部产品
云市场

实施步骤

更新时间:2019-12-09 14:11:35

前提条件

使用ActionTrail日志清洗功能之前,您需要按照以下步骤做好准备工作。

注意:使用ActionTrail日志清洗功能时,要求ActionTrail、OSS、DLA所属Region相同,否则无法使用该功能。

ActionTrail

在ActionTrail中创建跟踪

OSS

  1. 开通OSS服务

  2. 创建Bucket

  3. 新建文件夹

    根据业务需求,判断是否需要新建文件夹,将ActionTrail投递过来的数据存储在新建文件夹中。

DLA

  1. 开通DLA服务

  2. 初始化DLA数据库主账号密码

实施步骤

步骤一:创建Schema

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 在左侧导航栏单击Schema管理

  4. Schema管理页面,单击创建Schema

  5. 创建Schema页面的常用页签下,单击ActionTrail日志清洗中的使用向导创建

    使用向导创建

  6. ActionTrail日志清洗页面,根据页面提示进行参数配置。

    参数 说明
    ActionTrail文件根目录 ActionTrail投递到OSS中的日志数据的存储目录。

    该目录必须以AliyunLogs/Actiontrail/结尾。

    • 选择位置:自定义ActionTrail投递到OSS中的日志数据的存储目录。
    • 自动发现:DLA帮助您自动设置ActionTrail投递到OSS中的日志数据的存储目录。
    Schema名称 设置Schema的名称,即OSS数据库在DLA中的映射数据库名称。
    清洗后数据保存位置 DLA清洗好OSS数据后,将结果数据回写入OSS即清洗后数据保存位置。
    • DLA默认指定存储位置。
    • 支持您自定义存储位置。
    数据清洗时间 设置每天DLA清洗OSS数据的时间。

    系统默认的数据清洗时间是00:30,您可以根据业务规律,将数据清洗时间设置在业务低峰期,以免清洗过程中可能对业务造成的影响。

    创建Schema

  7. 完成上述参数后单击创建,创建Schema。

Schema创建成功后,ActionTrail投递到OSS中的日志数据并未同步到DLA中,即DLA中没有创建OSS日志文件对应的表,您需要通过单击立即同步来创建表。

步骤二:同步数据

创建Schema后,如果您没有单击立即同步来同步数据,您可以在任何需要的时候通过以下步骤同步数据。

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 在左侧导航栏单击Schema管理

  4. Schema管理页面,单击目标数据源右侧的详细信息

    目标Schema

  5. 在Schema详细信息页面,单击配置页签。

    配置

  6. 单击立即同步启动数据同步任务。

    配置页签下,单击更新更新Schema配置。

  7. 您可以单击页签,查看数据同步情况。

    查看表

    表创建完成后,您可以单击左侧导航栏SQL < SQL执行或者连接DLA后,对日志数据进行清洗。