全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 智能硬件
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 更多
日志服务

分析-定制网站日志分析大盘

更新时间:2018-05-03 15:34:18

网站的访问日志信息对于个人站长来说至关重要,其中包含的PV、UV、访问地域分布以及访问前十页面等情况是网站访问情况的数据体现。应用的日志信息对于应用的开发者来说必不可少,针对Top方法的分析、优化可以直接提升应用质量。运维人员通过服务器日志可以监控数据、追溯异常,通过实时监控日志数据,可以获取最近1个小时的服务器响应时间变化、请求客户端负载均衡到某一台机器流量是否有异常情况等信息,并通过数据大屏展示日志监控数据,可以直观获取关键信息。

基于以上场景,日志服务提供多样化的日志数据采集、分析一站式解决方案,其中实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析,并且可以在查询分析结果上支持自带Dashboard、DataV、Grafana、Tableua(通过JDBC)、QuickBI等可视化方式。

更为便捷的是,日志服务提供数据分析图表,即对日志的实时检索分析结果进行图表方式的直观展示,并通过仪表盘功能为您创建多种场景下的日志数据分析大盘。

70029-1

点我试用

用户名:sls_reader1@1654218965343050密码:pnX-32m-MHH-xbm

功能特点

  • 无需事先定义:任何计算方法、任何过滤条件可以应用到任意时间段,秒级出图。

  • 交互式分析:图表和原始日志无缝切换,双向打通。

  • 场景化支持:通过数据接入向导直接生成分析大盘,无需复杂配置。

图表类型

目前,日志服务提供的可视化功能包含了如下图表类型:

cn

流程架构

  1. 数据采集。日志服务支持客户端、网页、协议、SDK/API(移动、游戏)等多种日志采集方式,所有采集方式均基于Restful API实现,除此之外您也可以通过API/SDK实现新的采集方式,参考文档

  2. 设置数据索引并采用查询分析语法进行查询分析,参考文档

  3. 可视化展示。日志服务提供基于Restful的开放式API,我们可以选择适合的方式对我们的日志数据进行可视化处理,本文档主要演示日志服务自带的可视化以及仪表盘(Dashboard)功能。

70029-2

示例

本文档为您展示各种图形的典型应用场景。

1. 表格

表格作为最常见的数据展示类型,由一组或多组单元格组成,用于显示数字和其他项以便快速引用和分析,表格中的项被组织为行和列,表格的第一行称为表头,指明表格每一列的内容和意义。

在日志服务中,我们通过查询分析语法得到的结果信息默认以表格方式进行展示。

例如,查看每分钟上传字节总和:

  1. * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minute, sum(body_bytes_sent) as sum group by minute order by minute desc limit 100000

表格结果如下所示,您可以利用表头上的排序按钮对某一列进行排序。

70029-3

2. 折线图

折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。

分析在最近15分钟内PV、UV已经平均响应时间变化:

  1. * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minutes, approx_distinct(remote_addr) as uv, count(1) as pv, avg(request_time) as avg group by minutes order by minutes asc limit 100000

选择minutes作为X轴,pv、uv放在左Y轴,avg为右Y轴并且设置uv为柱状,结果如下图所示:

70029-4

3. 柱状图

柱状图使用垂直或水平的柱子显示类别之间的数值比较,和折线图的不同之处在于,柱状图描述分类数据,并统计每一个分类中的数量,而折线图描述有序数据。

分析最近15分钟内不同http_referer的访问次数:

  1. * | select http_referer, count(1) as count group by http_referer

70029-5

4. 条形图

条形图即为横向柱状图,适合分析分类数据的top情况。

分析最近15分钟内访问前十的地域信息:

  1. * | select ip_to_province(remote_addr) as address, count(1) as count group by address order by count desc limit 10

70029-6

5. 饼图

饼图用于表示不同分类的占比情况,通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块,整个圆饼代表数据的总量,每个区块(圆弧)表示该分类占总体的比例大小,所有区块(圆弧)的加和等于100%。

  1. * | select request_method as method , count(1) as c group by method

饼图:

70029-7

环图:

70029-8

分析最近15分钟访问页面的分布:

  1. * | select request_uri as uri , count(1) as c group by uri

南丁格尔玫瑰图:70029-9

6. 数字图

数字图作为最简单直接的数据表现形式,直观清晰地将某一个点上的数据展示出来,一般用于表示某一个时间点上的关键信息。

统计最近15分钟的PV:

  1. * | select count(1) as PV

70029-10

7. 面积图

面积图是在折线图的基础之上形成的,它将折线图中折线与坐标轴之间的区域使用颜色进行填充,这个填充即为面积,颜色的填充可以更好的突出趋势信息。

如统计最近15分钟的平均请求时间变化趋势:

  1. * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minute, avg(request_time) as request_time group by minute order by minute

70029-11

8. 地图

以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。日志服务提供了三种地图方式,分别为:中国地图、世界地图以及高德地图(高德地图分为点图和热力图)。

通过remote_addr来绘制三种地图,统计前十的访问区域:

  • 中国地图:

    1. * | select ip_to_province(remote_addr) as address, count(1) as count group by address order by count desc limit 10

    70029-12

  • 世界地图:

    1. * | select ip_to_country(remote_addr) as address, count(1) as count group by address order by count desc limit 10

    70029-13

  • 高德地图:

    1. * | select ip_to_geo(remote_addr) as address, count(1) as count group by address order by count desc limit 10

    70029-1470029-15

流图

不同颜色的条带状分支代表了不同的分类信息,条状带的宽度映射了对应的数值大小。此外,原数据集中的时间属性,映射到X轴上,是一个三维关系的展现。

统计最近15分钟,不同method方法请求次数随时间变化趋势情况:

  1. * | select date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as minute, count(1) as c, request_method group by minute, request_method order by minute asc limit 100000

X轴选择minute,Y轴选择c,按照request_method聚合。

70029-16

桑基图

桑基图 (Sankey Diagram),是一种特定类型的流图,用于描述一组值到另一组值的流向。适合网络流量等场景,通常包含3组值source、target以及value。source和target描述了点的关系,而value描述了该source和target之间边的关系。

负载均衡场景示例:

  1. * | select sourceValue, targetValue, streamValue group by sourceValue, targetValue, streamValue order by streamValue

70029-17

词云

词云,是文本数据的视觉表示,由词汇组成类似云的彩色图形,用于展示大量文本数据。每个词的重要性以字体大小或颜色显示,为您直观展示某一些关键词的权重大小。

统计最近15分钟访问hostname的情况:

  1. * | select hostname, count(1) as c group by hostname order by c limit 100

70029-18

添加到仪表盘

所有通过查询分析语法获得的可视化图表都可以保存在一个仪表盘(Dashboard)中,再经过灵活的布局调整,就可以做出一张全面的仪表盘了。

您可以单击新建标签 > 仪表盘,建立一个仪表盘。建立仪表盘后可以通过标签快速打开仪表盘,实时查看数据。

演示视频:

本文导读目录