日志服务快速分析功能提供了一键式交互查询体验,帮助您快速分析某一字段在指定时间内的分布情况。

前提条件

已配置指定字段的索引,并开启统计功能,详情请参见开启并配置索引

例如访问日志中存在request_methodrequest_time字段,可参考如下配置。指定字段查询

功能特点

  • 支持前100,000条日志统计分析。
    说明 在选中的查询时间段内,采样100,000条数据。如果您使用快速查询生成SQL语句,需删除Limit 100000字段,才能分析全量日志。
  • 支持text类型字段分组统计,取占比最多的前十个分组。
  • 支持text类型字段快速生成approx_distinct(唯一数)查询语句。
  • 支持long或者double类型字段近似分布直方统计。

    直方图分布是指把采样数据划分到各个组中,并给出每个组的均值。

  • 支持long或者double类型字段快速查找最大项、最小项、平均值或总和。
  • 支持将快速分析查询生成查询语句。

操作步骤

  1. 登录日志服务控制台
  2. 单击目标Project。
  3. 日志管理 > 日志库页签中,单击目标Logstore右侧的日志库管理图标 > 查询分析
  4. 原始日志页签的快速分析区域,单击目标字段右侧的眼睛
    • 提供text类型字段分组统计和long、double类型字段的近似分布直方统计,详情请参见示例(text类型 )示例(long、double类型)
    • 提供查询语句
      单击目标字段下的图标,跳转到统计图表页签,并提供分组统计的查询语句,示例如下所示。
      $Search | select ${keyName} , pv, pv *1.0/sum(pv) over() as percentage from( select count(1) as pv , "${keyName}" from (select "${keyName}" from log limit 100000) group by "${keyName}" order by pv desc) order by pv desc limit 10
    • 检查字段的唯一数

      单击目标字段下的唯一数,即可进行检查操作,即检查${keyName}的唯一项个数。

    快速分析

示例(text类型 )

快速分析功能支持text类型字段分组统计。

单击目标字段右侧的眼睛,快速对该字段对应的前100,000条日志进行分组,并返回前十项的占比。查询语句如下所示。
$Search | select request_method , pv, pv *1.0/sum(pv) over() as percentage from( select count(1) as pv , "request_method" from (select "request_method" from log limit 100000) group by "request_method" order by pv desc) order by pv desc limit 10
request_method字段按照分组统计可以得到如下结果,GET请求比重大。text类型字段分组统计

示例(long、double类型)

  • 近似分布直方统计
    由于long、double类型存在多种类型值,计算分组统计意义不大,我们分为10个分组进行近似分布直方统计,查询语句如下所示。
    $Search | select numeric_histogram(10, ${keyName})
    request_time字段按照近似分布直方统计得到如下结果,绝大多数请求时间分布在0.059左右。近似分布直方统计
  • 快速分析MaxMinAvgSum

    分别单击目标字段下的MaxMinAvgSum,快速查找所有项中的最大项、最小项、平均值和总和。