在数据实验室中,您可以使用模拟数据或现有数据集来熟悉日志服务的各种操作。本文介绍如何使用日志服务数据实验室。
前提条件
已开通日志服务。
首次登录日志服务控制台时,根据页面提示开通日志服务。
已完成云资源访问授权。
首次使用数据实验室时,在数据实验室的首页,单击前往授权完成云资源访问授权。
收费与限制
目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集三个场景,均免费使用。
在数据实验室中Logstore仅用于存储模拟数据,数据保留7天,shard数量为1。您无法进行数据写入、编辑索引等操作。
场景选择
数据分为模拟数据和数据集。
模拟数据:根据模拟配置生成的数据。您可以根据需求修改部分字段值及时间范围等配置,数据模拟任务会根据您的配置产生数据。目前提供网站访问日志和数据库审计日志两种场景。
数据集:来自于各种场景的真实日志数据,目前提供新冠疫情数据集场景。
操作步骤
此处以数据库审计日志场景为例进行说明。
登录日志服务控制台。
在日志应用区域,单击数据实验室中的进入应用。
在数据实验室首页页面中,单击数据库审计日志中的初始化,生成数据库审计场景,包括模拟日志、查询、内建报表等。
此处可调整日志字段值、范围频率等配置。也可以使用默认配置。
在日志字段页签中,包括字段名称、字段数据类型。您可以根据需求,调整字段取值范围和权重值。
在范围频率页签中,可调整如下参数。
参数
说明
时间范围
指定模拟数据生成的起始时间与结束时间。如果不指定结束时间,会持续生成模拟数据。
数据量分布模型
数据量分布模型,包括随机、周期与线性。您可以自定义变化周期、最小值、最大值和抖动值。
变化周期:数据量分布变化周期,支持秒、分钟、小时、天和周。
最小值:每秒最小数据量。
最大值:每秒最大数据量。
抖动值:例如设置抖动为0.1,模型数据量为count,则最终的数据量在[0.9*count, 1.1*count]之间随机。
数据量异常点
在数据量分布模型中所确定的数据量的基础上,随机选择某些周期,在这些周期内的数据量会出现异常变化,您可以指定出现异常点的概率和异常点数据量变化的倍率。 您可以配置多个异常选项,每个数据周期最多出现一个异常点,优先模拟排在第一个的异常选项。
单击开始导入,数据实验室将自动完成创建项目和Logstore、创建模拟任务、创建数据场景和数据模拟等任务。
说明数据模拟任务需要大约1分钟的时间。
数据导入完成后,单击开始使用,进入报表中心页面。
后续操作
您可参考数据库审计日志操作步骤,完成网站访问日志和新冠疫情数据集初始化。