实时监控和可视化

日志服务可视化是将系统、应用或服务生成的原始日志数据转换成图形化界面展示的过程。本文介绍如何使用仪表盘进行数据实时监控和可视化。

预期效果

日志服务仪表盘包含丰富的图表类型,可以灵活地设置图表样式,以满足各类场景需要展示数据的不同需求。

ksh-ch.gif

查看仪表盘列表

在日志服务中,image图标代表仪表盘image图标代表仪表盘列表image图标代表演示列表

仪表盘列表

单击仪表盘 > 仪表盘列表,查看当前Project下的所有仪表盘。

image

演示列表

单击仪表盘 > 演示列表,查看当前Project下的所有演示列表。

image

仪表盘模式

显示模式

查看仪表盘时,系统默认呈现显示模式,允许您浏览该仪表盘下的所有统计图表。此外,日志服务还提供了在显示模式下对仪表盘进行刷新、订阅及分享等操作的功能。

image

显示模式操作说明

区域

操作说明

仪表盘列表区域

单击仪表盘 > 仪表盘列表,可以看到当前Project下所有的仪表盘。单击目标仪表盘,进入到显示模式。

操作区域

  • 时间选择:您可以设置仪表盘的查询时间设置后,所有统计图表展示的是同一时段的查询和分析结果。

  • SQL增强:您可以运行SQL增强,用于优化查询分析语句。

  • 刷新:您可以通过手动刷新或自动刷新两种方式刷新仪表盘。

  • 重置:重置所有图表的查询时间范围,恢复至默认时间范围,用于改变时间范围后还原到初始状态的场景。

  • 告警:您可以为图表创建告警规则

  • 订阅订阅仪表盘后,您可以定期将仪表盘渲染为图片,通过邮件、钉钉等方式发送给指定人员。

  • 另存为复制并保存为目标仪表板的新独立版本,完成后刷新页面,在仪表盘列表中查看。

  • 分享:您可以将仪表盘免密分享给其他人。

  • 全屏:您可以选择显示器全屏或者窗口全屏,当您不需要全屏展示时,您可以按Esc键退出全屏。

  • 仪表盘体验调研:反馈您宝贵的意见。

  • 编辑:进入仪表盘编辑模式。

过滤器

当您为仪表盘添加过滤器后,仪表盘会显示您创建的过滤器。

图表区域

单击配置监控与告警对单个图表可以进行窗口放大查看创建免密分享预览查询语句选择时间范围另存为告警、以PNG图片格式下载图表或者以CSV格式下载图表数据

编辑模式

单击仪表盘页面的编辑进入编辑模式后,您能够进行如下操作:修改仪表盘名称、添加新图表、调整布局、编辑现有图表以及导入图表等。

image

编辑模式操作说明

区域

操作说明

仪表盘列表区域

单击仪表盘 > 仪表盘列表,可以看到当前Project下所有的仪表盘。单击目标仪表盘,在仪表盘右上角单击编辑进入编辑模式。

操作区域

  • 撤销:取消最近一次对图表的修改,恢复到上一次保存或操作的状态。

  • 重做:撤销后的反向操作,恢复最近一次被撤销的修改。

  • 层级置顶:将选中的图表提升到所有元素之上,确保它显示在最前面。

  • 层级置底:将选中的图表放置到所有元素之下,使其显示在最底层。

  • 设置对齐方式:调整图表的对齐方式,如左对齐、右对齐等。

  • 设置图表位置和大小:调整图表左边距、上边距、高度和宽度。

  • 过滤器:通过添加过滤器可对整个仪表盘进行查询过滤。

  • 删除:当您选中一个或多个图表时,可批量删除。

  • 添加:您可以为仪表盘添加图表虚线图形

    • 图表:单击添加新图表,为仪表盘添加统计图表(Pro版本)统计图表

    • 虚线:选择连线类型线条样式线宽线条颜色。您可以为图表间添加并设置连线,

    • 图形:为仪表盘添加矩形菱形文本自定义SVG

  • 导入图表:向当前仪表盘导入新图表。

  • 切换布局:日志服务中仪表盘支持网格布局自由布局两种布局模式,您可以自由切换。

  • 历史版本:您可以查看仪表盘的历史操作,如果您误操作了仪表盘,则可以使用此功能将其恢复到历史版本。

    重要
    • 支持最多保存20个历史版本。

    • 不支持通过API方式操作历史版本。

    • 恢复操作将覆盖当前仪表盘内容,请谨慎操作。

  • 设置:在仪表盘设置页面,可以恢复旧版本、修改仪表盘JSON和管理过滤器。

  • 保存:编辑模式下的所有操作,都必须保存后才会生效。

  • 取消:退出编辑模式。

图表区域

单击配置监控与告警对单个图表进行编辑、复制和删除。

使用仪表盘

刷新仪表盘

您可以通过手动或自动两种方式刷新仪表盘,具体操作如下所示。

sx-ch.gif

  • 在仪表盘页面的右上方,选择刷新 > 仅一次,表示立即刷新一次仪表盘。

  • 在仪表盘页面的右上方,选择刷新 > 自动刷新,表示按照指定的时间间隔自动刷新仪表盘。时间间隔可设置为15秒、60秒、5分钟或15分钟。

查询仪表盘

您可以全局设置仪表盘的查询时间范围,设置后,所有统计图表展示的是同一时段的查询和分析结果。

重要

选定的查询时间范围仅供临时查看结果,系统不会保存。下次查看仪表盘时,系统仍使用默认的时间范围。

  • 时间选择

    在仪表盘页面的上方,单击时间选择,选择时间范围。选择时间范围后,将鼠标放在时间上,可查看具体的时间范围。

    时间选择

    说明

    相对时间

    表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。

    整点时间

    表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。

    自定义时间

    表示查询指定时间范围的日志数据。

  • 查看特定条件的仪表盘

    在仪表盘页面的上方,单击时间选择,选择时间范围后,再单击仪表盘过滤器,添加过滤条件,表示查询指定时间和指定条件下的日志数据。例如当前是2024-09-06日,设置时间为昨天(相对),添加methodGETstatus200的过滤条件,表示查询2024-09-05 00:00:00 ~ 2024-09-06 00:00:00methodGETstatus200的日志数据。

    image

分享仪表盘

创建仪表盘后,您可以分享到钉钉、企业微信或阿里云账号,也可以将仪表盘嵌入钉钉文档。具体操作,请参见免密分享与集成仪表盘

订阅仪表盘

创建仪表盘后,您可以定期将仪表盘渲染为图片,通过邮件、钉钉等方式发送给指定人员。

重要

订阅仪表盘,有如下限制:

  • 统计图表Pro版本不支持订阅。

  • 每个仪表盘只能创建一个订阅任务。

  • 每天最多给每个邮箱发送50封邮件。

  • 每个Project中订阅任务和告警任务的总数最多100个。如果有特殊需求,请提工单申请调整限额。

  • 如果表格分页显示,订阅仪表盘时,仅支持发送表格第一页的数据截图。

dy-ch.gif

参数说明

参数

说明

订阅名称

订阅任务的名称。

频率

订阅仪表盘后,发送通知的频率。

  • 每小时:每小时发送一次订阅通知。

  • 每天:在每天的某个固定时间点发送一次订阅通知。

  • 每周:在周几的某个固定时间点发送一次订阅通知。

  • 固定间隔:按固定间隔发送订阅通知,单位为天。

  • Cron:通过Cron表达式指定时间间隔,Cron表达式最小单位为分钟,但建议设置间隔为1小时以上。例如Cron表达式为* 0/1 * * *,表示从0点开始,每隔1小时发送一次。

全局时间

  • 预设:发送订阅报表时,对应的查询时间范围为仪表盘中统计图表的查询时间范围。

    说明
    • 在仪表盘显示模式下,所有的查询时间范围都是临时的,仅供您动态查阅不同时间段的图表数据。

    • 在仪表盘编辑模式下,双击目标统计图表,然后在编辑页面,修改其查询时间范围。系统会保存该时间范围,即您下次查看该统计图表时,仍为该时间范围。

  • 自定义:发送订阅报表时,对应的查询时间范围为您在此处设置的自定义时间范围。

添加水印

在生成的图片上添加水印,水印内容为通知渠道地址,例如邮箱地址。

通知列表

订阅仪表盘的通知方式包括邮件、Webhook-钉钉机器人、Webhook-飞书机器人、Webhook-企业微信机器人和自定义Webhook。

  • 邮件

    • 收件人中填写邮箱地址,多个邮箱地址之间用英文逗号(,)分隔。

    • 主题中配置邮件主题。如果没有配置主题,日志服务将使用默认主题(日志服务报表)。

  • Webhook

    • 请求地址中填写对应的WebHook地址。如何获取钉钉机器人的WebHook地址,请参见通知渠道说明

    • 标题中配置通知标题。

为仪表盘添加过滤器

在目标仪表盘的编辑模式下,在操作栏中,单击过滤图标。在过滤器面板中,完成如下参数配置,然后单击确定

参数说明

参数

说明

名称

过滤器名称。

显示设置

设置过滤器的显示样式。

  • 打开显示标题开关,为过滤器增加标题。

  • 打开显示边框开关,为过滤器增加边框。

  • 打开显示背景开关,为过滤器增加白色背景。

类型

选择过滤器的类型。

  • 过滤器:通过字段名和字段值进行过滤。在执行过滤器操作时,将其作为过滤条件增加到查询和分析语句前,使用ANDNOT进行连接,默认为AND

    • ANDValue AND [search query] | [sql query]

    • NOTValue NOT [search query] | [sql query]

    静态列表项中添加值,支持设置多个值。

  • 变量替换:指定变量和变量的值。如果仪表盘中已有设置了该变量占位符的统计图表,则添加变量类型的过滤器后,自动将统计图表的查询和分析语句中的变量替换为您选择的变量值。在静态列表项中配置变量的值,支持设置多个变量值。

  • 时序过滤器:动态添加Label和Value进行过滤。添加时序过滤器后,可以手动对时序库的Label和Value进行过滤显示。

Key值

  • 如果您选择过滤器类型,则在Key值中配置目标字段名。

  • 如果您选择变量替换类型,则在Key值中配置变量。

  • 如果您选择时序过滤器类型,则表示过滤器的唯一标识。

    说明

    如果选择变量替换类型,则您要替换变量的统计图表必须已设置占位符变量,且与此处配置的变量相同。

别名

列的别名,仅在过滤器类型中需配置。

全局过滤

仅在过滤器类型中需配置。

  • 开启全局过滤,表示在所有字段中过滤Value,无需指定Key。

  • 关闭全局过滤,表示仅在指定的Key中过滤Value。

自动过滤

开启自动过滤,会自动过滤掉数据源中不存在的值。仅在选择过滤器时设置。

查询方式

使用AND方式NOT方式进行连接。仅在选择过滤器时设置。

显示组件类型

仅在选择变量替换过时设置。

选择组件类行的方式:

  • 自由输入

  • 下拉列表

请选择Project

选择您要查询的项目。仅在选择时序过滤器时设置。

请选择时序库

选择您要查询的时序库。仅在选择时序过滤器时设置。

静态列表项

设置Key值对应的Value。

多次单击+,可添加多个Value。如果开启默认选中,则每次打开仪表盘时,默认使用该Value执行过滤。

添加动态列表项

打开添加动态列表项开关,可添加动态列表项,即为Key值配置动态的Value。动态列表项为对应查询和分析语句的查询结果,在不同的时间范围内,查询结果是动态变化的。

打开添加动态列表项开关后,需配置如下参数。

  • 请选择Project:选择您要查询的项目。

  • 请选择日志库:选择您要查询的日志库。

  • 是否继承过滤:打开是否继承过滤开关后,在执行过滤时继承仪表盘中已有的过滤条件。

  • 查询和分析语句:输入查询和分析语句并设置时间范围。

  • 动态列表项预览:确认查询结果。

播放仪表盘

  1. 创建演示列表:当前Project中没有演示列表时,有2个入口可以创建。

    image

    创建演示列表对话框中,完成如下配置,然后单击确定

    参数

    说明

    播放列表名称

    设置播放列表的名称。

    轮播间隔时间

    设置仪表盘轮播的时间间隔。

    目标仪表盘名称

    添加目标仪表盘。支持跨Project添加仪表盘。

  2. 播放仪表盘:选择目标演示列表,单击右上角播放按钮,系统将根据您设置的时间间隔,自动播放您所添加的仪表盘。您也可以单击上一页下一页,手动播放仪表盘。

    image

下钻分析

在仪表盘发现异常时,可以利用交互事件功能快速进行下钻分析,如在Logstore查询分析、Trace分析或访问其他仪表盘等,以实现定位异常根因。具体操作,请参见使用仪表盘下钻分析定位异常根因

支持的图表类型

表格(Pro版本)

表格由一组或多组单元格组成,表格中的项被组织为行和列,表格的第一行称为表头,指明表格每一列的内容和意义。例如查询每个http_referer对应的响应体总字节数,并用线图展示body_bytes_sent

(*)| SELECT http_referer, array_agg(body_bytes_sent) as body_bytes_sent GROUP BY  http_referer 

image

使用场景表格(Pro版本)能够精确地展示每个数据项的具体数值。适用于数据分析、财务报表、科学实验记录等场景。

线图(Pro版本)

线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。例如查询每个时间点的页面访问量(PV),并设置上下浮动范围展示。

(*)| select __time__ - __time__ % 60 as time, COUNT(*) as pv, COUNT(*) + 50 as pv2, COUNT(*) - 50 as pv3 GROUP BY time order by time 

image

使用场景线图(Pro版本)主要用于展示数据随时间或其他连续变量的变化趋势。适用于分析时间序列数据,如股票价格、气温变化、销售数据等场景。在线图中,可以清晰的观测到数据在某一个周期内的变化,例如:

  • 递增性或递减性

  • 增减的速率情况

  • 增减的规律(如周期变化)

  • 峰值和谷值

柱状图(Pro版本)

柱状图使用垂直的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。例如展示UV最高的前5个host及其页面访问量(PV)。

(*)| select host, COUNT(*) as pv, approx_distinct(remote_addr) as uv GROUP BY host ORDER BY uv desc LIMIT 5 

image

使用场景柱状图(Pro版本)主要用于比较不同类别或不同时间点的数据大小。适用于展示分类数据,如不同产品的销售量、不同地区的人口数量等。

统计图(Pro版本)

统计图可包含一个或多个单值图,单值图可用于突出显示单个数值。例如展示最近15分钟页面访问量(PV)

(*)| select COUNT(*) as PV 

image

使用场景统计图(Pro版本)主要用于直观展示单个关键指标的当前数值及其变化趋势,适用于需要了解业务状态或监控异常情况的场景。

饼图(Pro版本)

饼图通过将一个圆饼按照分类的占比划分成多个区块,整个圆饼代表数据的总量,每个区块(圆弧)表示该分类占总体的比例大小,所有区块(圆弧)的加和等于 100%。比如统计每个request_method(请求方法,如GET、POST等)的次数。

(*)| SELECT request_method, arbitrary(request_length) as len, COUNT(*) as c  group by request_method 

image

使用场景饼图(Pro版本)主要用于展示数据的占比关系。它适用于展示不同部分在整体中的比例,如不同产品的市场份额、各个部门的预算比例等。

地图(Pro版本)

以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。比如按国家分组统计每个国家的记录数(count)。

(*)| select  ip_to_country(remote_addr) as address, count(1) as count group by address order by count desc limit 10 

image

使用场景地图(Pro版本)用于展示地理空间数据。适用于分析地理位置相关的数据,如人口分布、城市扩张、交通流量等。

选择更多图表,请参见流图(Pro版本)计量图(Pro版本)直方图雷达图交叉表散点图拓扑图火焰图Markdown图表(Pro版本)时间轴词云桑基图高德地图轨迹图矩形树图时序状态图漏斗图

相关文档