字段分析

SLS(Simple Log Service)具备字段分析功能,专注于对text、long和double类型字段的统计分析。此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图,为用户提供了深入的数据洞察和可视化工具,便于理解和挖掘。

前提条件

已开启对应字段的索引和统计功能。具体操作,请参见创建索引

例如,访问日志中存在request_methodrequest_time字段,可参考如下配置。指定字段查询

使用限制

字段分析的数据范围,是当前查询页面的(满足时间范围和查询条件)的全部日志。当日志数目在1亿条以下时,会进行全量分析。当日志数目超过了1亿条,会进行采样分析(采样规则是将采样后的数据控制在1亿条左右),如果要避免这种采样,建议您可以缩小时间范围或者增加过滤条件。

查看字段分析

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 在控制台左侧,单击日志存储,在日志库列表中单击目标Logstore。

    image

  4. 查看字段分析。

字段说明

text字段详情

基本分布情况

参数

说明

日志总行数

当前查询页面设置时间和查询条件后统计出来的数据总行数。

当前列总行数

当前查询条件中包含该字段所在的行统计出来的总行数。

缺失值总行数

日志总行数 - 当前列总行数。

缺失值占比

缺失值总行数/日志总行数。

Distinct值总数

使用approx_distinct函数计算该列中不重复的字段值数量。

Distinct值占比

Distinct值总数/日志总行数。

统计指标

参数

说明

最大长度

该字段值所占的最大字符长度。

最小长度

该字段值所占的最小字符长度。

平均长度

该字段值的平均字符长度。

Top5取值时序图

先计算出时间范围内总数前5的取值,然后绘制这些值随时间的变化趋势。

单击Top5取值时序图最右侧的image,可以将该时序图添加到仪表盘。新建仪表盘请参见创建仪表盘

long、double字段详情

基本分布情况

参数

说明

日志总行数

当前查询页面设置时间和查询条件后统计出来的数据总行数。

当前列总行数

当前查询条件中包含该字段所在的行统计出来的总行数。

Distinct值总数

使用approx_distinct函数计算该列中不重复的字段值数量。

Distinct值占比

Distinct值总数/日志总行数

统计指标

参数

说明

最大值

该字段的最大值。

最小值

该字段的最小值。

平均值

该字段的平均值。

中位数

将数据正序排列后,返回位于中间位置的数据。

四分位数Q1

将数据正序排列后,返回位于25%位置的数据。

四分位数Q3

将数据正序排列后,返回位于75%位置的数据。

样本标准差

使用stddev_samp函数计算该字段的样本标准差。

总体标准差

使用stddev_pop函数计算该字段的总体标准差。

峰度

统计学概念,表示数据分布的集中程度。

偏度

统计学概念,表示数据的倾斜程度。

数值分布直方图

将数值分布划分为10个区间,统计其的近似直方图。

单击数值分布直方图最右侧的image,可以将该数值分布直方图添加到仪表盘。新建仪表盘请参见创建仪表盘