使用数据实验室

在数据实验室中,您可以使用模拟数据或现有数据集来熟悉日志服务的各种操作。本文介绍如何使用日志服务数据实验室。

前提条件

  • 已开通日志服务。

    首次登录日志服务控制台时,根据页面提示开通日志服务。

  • 已完成云资源访问授权。

    首次使用数据实验室时,在数据实验室的首页,单击前往授权完成云资源访问授权。

    数据实验室-001

收费与限制

目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集三个场景,均免费使用。

在数据实验室中Logstore仅用于存储模拟数据,数据保留7天,shard数量为1。您无法进行数据写入、编辑索引等操作。

场景选择

数据分为模拟数据和数据集。

  • 模拟数据:根据模拟配置生成的数据。您可以根据需求修改部分字段值及时间范围等配置,数据模拟任务会根据您的配置产生数据。目前提供网站访问日志和数据库审计日志两种场景。

  • 数据集:来自于各种场景的真实日志数据,目前提供新冠疫情数据集场景。

操作步骤

此处以数据库审计日志场景为例进行说明。

  1. 登录日志服务控制台

  2. 日志应用区域,单击数据实验室中的进入应用

  3. 数据实验室首页页面中,单击数据库审计日志中的初始化,生成数据库审计场景,包括模拟日志、查询、内建报表等。

  4. 此处可调整日志字段值、范围频率等配置。也可以使用默认配置。

    • 日志字段页签中,包括字段名称、字段数据类型。您可以根据需求,调整字段取值范围和权重值。

    • 范围频率页签中,可调整如下参数。

      参数

      说明

      时间范围

      指定模拟数据生成的起始时间与结束时间。如果不指定结束时间,会持续生成模拟数据。

      数据量分布模型

      数据量分布模型,包括随机、周期与线性。您可以自定义变化周期、最小值、最大值和抖动值。

      • 变化周期:数据量分布变化周期,支持秒、分钟、小时、天和周。

      • 最小值:每秒最小数据量。

      • 最大值:每秒最大数据量。

      • 抖动值:例如设置抖动为0.1,模型数据量为count,则最终的数据量在[0.9*count, 1.1*count]之间随机。

      数据量异常点

      数据量分布模型中所确定的数据量的基础上,随机选择某些周期,在这些周期内的数据量会出现异常变化,您可以指定出现异常点的概率和异常点数据量变化的倍率。 您可以配置多个异常选项,每个数据周期最多出现一个异常点,优先模拟排在第一个的异常选项。

  5. 单击开始导入,数据实验室将自动完成创建项目和Logstore、创建模拟任务、创建数据场景和数据模拟等任务。

    说明

    数据模拟任务需要大约1分钟的时间。

  6. 数据导入完成后,单击开始使用,进入报表中心页面。

    数据实验室首页数据库审计日志区域,您可进入查询分析、报表中心、数据配置、删除等操作。

    • 单击查询分析,进入查询分析页面,

      您可以进行查询分析操作,详情请参见查询与分析

    • 单击报表中心,进入报表中心页面。

      默认提供RDS审计中心、RDS审计性能中心和RDS审计安全中心。单击对应的查看报表,可进入报表详情页面,进行仪表盘操作,详情请参见可视化概述

    • 单击数据配置,进入数据配置页面。

      您可以调整日志的字段值、时间范围等配置,重新导入数据。

    • 单击删除,删除场景。

      在删除场景时,您可以选择是否要同步删除Logstore及相关报表。删除场景后,将停止数据模拟任务。

后续操作

您可参考数据库审计日志操作步骤,完成网站访问日志新冠疫情数据集初始化