LiveTail是日志服务在控制台提供了日志数据实时监控的交互功能,帮助您实时监控日志内容、提取关键日志信息。

背景信息

在线上运维的场景中,往往需要对日志队列中进入的数据进行实时监控,从最新的日志数据中提取出关键的信息进而快速地分析出异常原因。在传统的运维方式中,如果需要对日志文件进行实时监控,需要到服务器上对日志文件执行命令tail -f,如果实时监控的日志信息不够直观,可以加上grep或者grep -v进行关键词过滤。日志服务在控制台提供了日志数据实时监控的交互功能LiveTail,针对线上日志进行实时监控分析,减轻运维压力。

功能优势

  • 监控日志的实时信息,按关键词过滤日志数据。
  • 结合采集配置,对采集的日志进行索引区分。
  • 日志字段做分词处理,以便查询包含分词的上下文日志。
  • 根据单条日志信息追踪到对应日志文件进行实时监控,无需连接线上机器。

限制说明

  • LiveTail功能仅支持Logtail采集到的日志数据。
  • 已成功采集到日志数据后,才能使用LiveTail功能。

使用LiveTail实时监控日志

  1. 登录日志服务控制台,单击Project名称。
  2. 单击日志库名称后的日志库管理图标图标,选择查询分析
  3. 可选: 快捷开启LiveTail。
    1. 原始日志页签中,单击指定原始日志的序号右侧图标LiveTail图标,并选择LiveTail
      系统为您自动开启LiveTail,并开始计时。其中来源类型机器名称文件名称已预设为指定原始日志的信息。
      开启LiveTail后,Logtail采集到的日志数据会实时显示排列在页面中。最新的日志数据始终在页面底部,且滚动条默认在最下方,即显示最新数据。页面最多显示1000条数据,满1000条后页面自动刷新并重新填充日志数据。LiveTail统计
    2. 可选: 您也可以在搜索框中输入关键词,包含关键词的日志才会显示在监控列表中。筛选包含关键词的日志,便于对特定日志进行实时内容监控。
  4. 自定义设置LiveTail。
    1. 在查询分析页面单击LiveTail页签。
      LiveTail
    2. 配置LiveTail。
      配置 是否必选 说明
      来源类型 必选 日志的来源,包括:
      • 普通日志
      • Kubernetes
      • Docker
      机器名称 必选 日志来源服务器的名称。
      文件名称 必选 日志文件的完整路径及文件名。
      过滤条件 可选 关键词,设置关键词后,只有包含关键词的日志才会显示在实时监控窗口中。
    3. 单击开启LiveTail
      开启LiveTail后,Logtail采集到的日志数据会实时显示排列在页面中。最新的日志数据始终在页面底部,且滚动条默认在最下方,即显示最新数据。页面最多显示1000条数据,满1000条后页面自动刷新并重新填充日志数据。
  5. 在实时监控日志的时候,如果某些日志数据可能存在异常需要分析的时候,单击停止LiveTail

    停止LiveTail后,LiveTail计时结束,不再实时更新日志数据。

    针对监控日志时发现的异常,日志服务提供多种分析方式,详细信息请参见使用LiveTail分析日志

使用LiveTail分析日志

停止LiveTail之后,实时监控窗口不再更新显示日志内容,可以对监控过程中发现的问题进行进一步分析排查。
  • 查看包含指定字段的日志内容。

    所有的字段都进行过分词处理,您可以在LiveTail页签中单击指定异常字段的value,页面会自动跳转到原始日志页签中,并会将异常字段的value作为关键词筛选出与该字段相关的所有日志内容。另外也可以对包含该关键字的日志进行上下文查询、查看统计图表等方式进行分析。

    分析日志
  • 根据日志分布直方图(histogram)缩小查询的时间范围。

    LiveTail开启时,日志分布直方图也在进行同步更新。如果发现某个时段的日志分布有异常,例如日志数量显著增加时,可以单击该时段的绿色矩形缩小查询的时间范围。跳转后的原始日志内的时间轴与LiveTail内选择的点击的时间轴是相关联的,可以查看在这段时间内所有的原始日志内容及详细的时间分布。

    分布直方图
  • 通过列设置强调关键信息。

    LiveTail页签中,单击日志列表右上角的列设置可以将指定字段单独选设置为一列,使该列的数据更加醒目。可以将需要重点关注的数据设为一列,便于查看和判断异常。

    列设置
  • 对日志数据进行快速分析。

    LiveTail页签中,单击日志列表左上角的箭头,可以展开快速分析区域。快速分析的时间区间是LiveTail开启到停止的时间段,分析的功能与原始日志内提供的快速分析相同。详细说明请参考快速分析

    快速分析

示例

单击下载,该视频为您展示如何使用LiveTail进行实时日志监控及分析。