日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据,便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。

前提条件

  • 已开通日志服务。

    首次登录日志服务控制台时,根据页面提示开通日志服务。

  • 已完成云资源访问授权。

    首次使用数据实验室时,在数据实验室的首页,单击前往授权完成云资源访问授权。

    数据实验室-001

收费与限制

目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景,均免费使用。

在数据实验室中Logstore仅用于存储模拟数据,数据保留7天,shard数量为1。您无法进行数据写入、编辑索引等操作。

场景选择

数据分为模拟数据和数据集。
  • 模拟数据:根据模拟配置生成的数据。您可以根据需求修改部分字段值及时间范围等配置,数据模拟任务会根据您的配置产生数据。目前提供网站访问日志和数据库审计日志两种场景。
  • 数据集:来自于各种场景的真实日志数据,目前提供新冠疫情数据集场景。

操作步骤

此处以数据库审计日志场景为例进行说明。

  1. 登录日志服务控制台
  2. 日志应用区域,单击数据实验室中的进入应用
  3. 首页页面中,单击数据库审计日志中的初始化
  4. 调整日志字段值、时间范围等配置。
    • 日志字段页签中,包括字段名称、字段数据类型、字段随机参数和字段值等信息,您可以根据需求,调整字段随机参数和字段值。
    • 范围频率页签中,可调整如下参数。
      参数 说明
      时间范围 指定模拟数据生成的起始时间与结束时间。如果不指定结束时间,会持续生成模拟数据。
      分布模型 数据量分布模型,包括随机、周期与线性。您可以自定义变化周期、最小值、最大值和抖动值。
      • 变化周期:数据量分布变化周期,支持秒、分钟、小时、天和周。
      • 最小值:每秒最小数据量。
      • 最大值:每秒最大数据量。
      • 抖动值:例如设置抖动为0.1,模型数据量为count,则最终的数据量在[0.9*count, 1.1*count]之间随机。
      异常点 分布模型中所确定的数据量的基础上,随机选择某些周期,在这些周期内的数据量会出现异常变化,您可以指定出现异常点的概率和异常点数据量变化的倍率。

      您可以配置多个异常选项,每个数据周期最多出现一个异常点,优先模拟排在第一个的异常选项。

  5. 单击开始导入,数据实验室自动完成创建项目和Logstore、创建模拟任务、创建数据场景和数据模拟等任务。
    说明 数据模拟任务需要大约1分钟的时间。
  6. 数据导入完成后,单击开始使用
    首页页面的数据库审计日志区域,您可以执行查询日志、查看报表、重新导入数据、删除场景等操作。
    • 单击查询分析,进入查询分析页面,

      您可以进行查询分析操作,详情请参见查询与分析

    • 单击报表中心,进入报表中心页面。

      默认提供RDS安全中心报表、RDS审计中心报表和RDS审计性能报表。单击对应的查看报表,可进入报表详情页面,进行仪表盘操作,详情请参见简介

    • 单击数据配置,进入数据配置页面。

      您可以调整日志的字段值、时间范围等配置,重新导入数据。

    • 单击删除,删除场景。

      在删除场景时,您可以选择是否要同步删除Logstore及相关报表。删除场景后,将停止数据模拟任务。