分析网站日志

日志服务支持通过SQL92语法分析日志,并提供丰富的统计图表展示分析结果。本文介绍如何在日志服务控制台上分析网站日志,并通过合适的统计图表可视化展示分析结果。

前提条件

  • 已采集网站日志。具体操作,请参见数据采集

  • 已创建索引。具体操作,请参见创建索引

背景信息

网站日志是网站运维的重要信息,包含PV、UV、访问地域分布以及访问前十页面等信息。日志服务提供多样化的日志采集方式及一站式分析功能,您可通过查询+SQL92语法对日志进行实时分析,并以图表形式直观展示分析结果。日志服务还支持通过自带的仪表盘、DataV、Grafana、Tableau(通过JDBC链接)、Quick BI等可视化方式创建多种场景下的日志数据分析大盘。架构图

操作步骤

  1. 登录日志服务控制台

  2. 在Project列表区域,单击目标Project。

    image

  3. 在控制台左侧,单击日志存储,在日志库列表中单击目标Logstore。

    image

  4. 输入查询和分析语句,然后单击最近15分钟,设置查询和分析的时间范围。

    更多信息,请参见步骤一:输入查询和分析语句

    • 通过表格展示最近1天客户端访问情况,并降序排列。

      * | SELECT remote_addr, count(*) as count GROUP BY remote_addr ORDER BY count DESC

      表格

    • 通过折线图展示最近15分钟PV、UV以及平均响应时间的变化情况。

      * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minutes, approx_distinct(remote_addr) as uv, count(1) as pv, avg(request_time) as avg group by minutes order by minutes asc limit 100000

      查询分析配置中,设置X轴字段minutesy轴字段pvuvavg,统计图表如下所示。折线图

    • 通过柱状图展示最近15分钟不同来源地址的访问次数。

      * | select referer, count(1) as count group by referer

      柱状图

    • 通过条形图展示最近15分钟访问前十的页面。

      * | select  request_uri, count(1) as count group by request_uri order by count desc limit 10    

      条形图

    • 通过饼图展示最近15分钟页面访问情况。

      * | select request_uri as uri , count(1) as c group by uri limit 10

      饼图

    • 通过单值图展示最近15分钟的PV数。

      * | select count(1) as PV

      单值图

    • 通过面积图展示最近1天某IP地址的访问情况。

      remote_addr: 10.0.XX.XX | select date_format(date_trunc('hour', __time__), '%m-%d %H:%i') as time, count(1) as PV group by time order by time limit 1000

      配置X轴timeY轴PV,统计图表如下所示。

      面积图

    • 通过流图展示最近15分钟不同方法的请求次数随时间的变化趋势。

      * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minute, count(1) as c, request_method group by minute, request_method order by minute asc limit 100000

      配置X轴minuteY轴c聚合列request_method,统计图表如下所示。

      流图

  5. 添加统计图表到仪表盘。

    您可以单击添加到仪表盘,完成操作。具体操作,请参见添加统计图表到仪表盘