云防火墙管理控制台的日志服务实时查询分析功能页面集成日志服务的日志分析功能。

概述

在云防火墙管理控制台开通日志服务后,即可在日志服务实时查询分析功能页面,对采集到的日志数据进行实时查询与分析、查看或编辑仪表盘、设置监控告警等操作。

操作步骤

  1. 登录云防火墙管理控制台
  2. 在左侧导航栏定位到日志 > 日志分析页面。
  3. 开启右侧的状态开关。
    状态
  4. 输入需要查询的分析语句,选择日志时间范围后,单击查询/分析
    查询分析

更多操作说明

在日志分析页面,您还可以对查询到的日志数据进行以下操作:
  • 自定义查询与分析

    日志服务定义了一系列查询语法和分析语法,支持多种复杂场景下的日志查询。更多详细介绍,参考自定义查询与分析

  • 查看日志的时间分布
    搜索框下方展示了符合查询时间和查询语句的日志的时间分布情况,以时间为横轴、数量为纵轴的柱状图形式展示。并显示查询到的日志总数。
    说明 您可以在柱状图上按住鼠标左键拖拽选择更小范围的时间区域,时间选择器将自动更新为选择的时间范围,并展示所选择时间范围内的结果。

    时间分布
  • 查看原始日志

    原始日志页签中,以分页的形式展示每一条日志的详细内容,包括时间、内容以及其中的各个字段。您可以单击内容列显示设置内容列中长字符的显示效果(整行换行)、单击列设置选择特定的字段进行展示或单击日志下载按钮下载按钮将当前查询结果下载至本地。

    同时,在内容列中单击相应字段的值或分词,搜索框中将自动增加相应的搜索条件。例如,单击__source__: log_service中的值log_service,搜索框中将自动增加更新为以下查询语句,并展示相应的查询结果:

    原来的搜索语句 and source: log_service

    原始日志
  • 查看分析图表

    日志服务支持以图表形式展示分析结果,您可以在统计图表页面根据需要选择不同的图表类型。更多详细介绍,参考分析图表


    统计图表
  • 快速分析

    原始日志页签中的快速分析功能为您提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况,减少索引关键数据的时间成本。更多详细介绍,参考快速分析


    快速分析

自定义查询分析

日志查询语句由查询语法(Search)和分析语法(Analytics)两个部分组成,中间通过|进行分割:

$Search | $Analytics
类型 说明
查询(Search) 查询条件,由关键词、模糊、数值、区间范围和组合条件等产生。如果为空或*,则代表查询所有数据。
分析(Analytics) 对查询结果或全量数据进行计算和统计。
说明 查询和分析两部分均为可选。
  • 当Search部分为空时,代表针对该时间段所有数据不进行任何过滤,直接对结果进行统计。
  • 当Analysis部分为空时,代表只返回查询结果,不进行统计。

查询语法

日志服务查询语法支持全文查询字段查询,查询框支持换行显示、语法高亮等功能。
  • 全文查询

    无需指定字段,直接输入关键字进行全文查询。您可以用双引号("")包裹关键字查询包含该完整关键字的日志,也可以用空格或and分割查询多个关键字。

    示例
    • 多关键字查询

      搜索包含所有www.aliyun.comerror的日志。

      www.aliyun.com error或者www.aliyun.com and error

    • 条件查询

      搜索所有包含www.aliyun.com,并且包含error或者404的日志。

      www.aliyun.com and (error or 404)
    • 前缀查询

      搜索所有包含www.aliyun.com,并且以failed_开头的日志。

      www.aliyun.com and failed_*
      说明 查询中只支持后缀添加*,但不支持以*作为前缀(如*_error)。
  • 字段查询

    基于字段进行更精准的查询。

    字段查询支持数值类型字段的比较查询,格式为字段:值字段 >= 值。同时,通过andor等可进行组合查询,并支持与全文搜索组合使用。
    说明 云防火墙日志服务支持基于字段查询。关于日志中各个字段的含义、类型、格式等信息,查看云防火墙日志字段说明
    示例
    • 查询多字段

      如果要搜索指定客户端1.2.3.4访问目的地址1.1.1.1的访问日志,您可以设置以下查询条件:

      src_ip: 1.2.3.4 and dst_ip: 1.1.1.1
      说明 本示例中的src_ip字段和dst_ip都是云防火墙记录的日志字段。
    • 查询数值字段

      搜索所有响应时间超过5秒的慢请求日志。

      request_time_msec > 5000

      同时,也支持区间查询。例如,查询响应时间大于5秒且小于等于10秒的日志。

      request_time_msec in (5000 10000]
      说明 您也可以通过以下查询语句获得同样的查询结果:
      request_time_msec > 5000 and request_time_msec <= 10000
    • 查询字段是否存在

      查询指定字段是否存在:

      • 查询包含total_pps字段的日志。
        total_pps: *
      • 查询包含ua_browser字段的日志。
        not total_pps: *
关于日志服务支持的查询语法完整说明,参考索引与查询

分析语法

您可以使用SQL/92语法对日志数据进行分析与统计。

关于日志服务支持的语法与函数说明,参考实时分析
说明
  • 分析语句中可以省略SQL标准语法中的from 表格名语句,即from log语句。
  • 日志数据默认返回前100条,您可以通过LIMIT语法修改返回范围。

查询分析示例

基于日志时间的查询分析

每一条云防火墙记录的日志都存在time字段,用于表示日志的时间,格式为年-月-日T时:分:秒+时区。例如,2018-05-31T20:11:58+08:00,其中时区为UTC+8区,即北京时间。

同时,每条日志都拥有一个内置字段,__time__。该字段也表示该条日志的时间,以便在统计时进行基于时间的计算,其格式为Unix时间戳,其本质是一个自从1970-1-1 0:0:0 UTC时间开始的累计经过的秒数。因此在实际使用时,经过可选的计算后,需要经过格式化才能进行展示。
  • 选择并展示时间
  • 计算时间
  • 基于特定时间分组统计
    说明 您也可以使用折线图方式进行展示。
    折线
更多关于时间解析的函数,例如将一个时间格式转化为另外一个格式,需要使用date_parsedate_format函数,相关具体说明,参考日期和时间函数