日志管理

通过实时查询与分析采集的日志数据,您可以准确把握网络活动的具体情况,并识别出流量的异常情况,从而实现安全监控的加强和安全事件响应效率的提升。本文将指导您如何运用查询和分析语句操作日志分析工具,并展示如何查阅和理解查询结果。

前提条件

资产流量已接入。具体操作,请参见接入管理

开启日志投递

  1. 登录全流量威胁检测与响应控制台

  2. 在左侧导航栏,选择检测响应 > 日志分析

  3. 日志分析页面右上角,单击日志管理设置

    image

  4. 日志管理设置面板中的日志投递开关页签,查看基础配置并开启日志投递开关

    • 基础配置:展示日志投递区域日志存储时间。如您需要修改日志投递区域日志存储时间,需前往云防火墙控制台,具体操作,请参见修改日志存储配置

    • 日志投递开关:您需要同时开启告警日志协议日志

配置过滤规则和投递字段

  1. 日志分析页面右上角,单击日志管理设置

  2. 分别在自定义过滤规则自定义投递字段页签中进行配置。

    • 自定义过滤规则

      • 创建过滤规则

        1. 自定义过滤规则页签中,单击创建规则

        2. 协议日志规律规则面板中,配置过滤逻辑流信息,并单击确认

          重要

          存在多个日志过滤规则的情景说明:

          1. 白名单/黑名单多个规则是or的逻辑。

          2. 白名单的规则和黑名单的规则进行比对,黑名单优先级高,有冲突的部分以黑名单的规则为准。

      • 编辑过滤规则

        1. 单击目标过滤规则操作列的编辑

        2. 协议日志规律规则面板中修改过滤规则,并单击确认

      • 删除过滤规则

        1. 单击目标过滤规则操作列的删除

        2. 查看并确认警告信息后单击确定

          重要

          删除日志过滤规则后,规则内容清除,且匹配该规则的日志不再过滤。

    • 自定义投递字段

      自定义投递字段页签中,选中需要投递的具体字段,单击确定

日志查询

  1. 在左侧导航栏,选择检测响应 > 日志分析

    默认情况下,进入日志分析页面时,系统会自动执行一次查询操作,并展示查询结果。

  2. 在搜索框输入查询语句和分析语句。

    • 查询语句用于日志数据的查看、简单搜索和过滤。您可以使用查询语句,通过特定条件(例如时间范围、请求类型、关键字等)筛选出感兴趣的数据集。查询语句可以单独使用,语法说明请参见查询语法与功能

    • 分析语句用于对日志数据进行过滤、转换、统计、聚合等操作,例如统计一段时间内数据的平均值、获取数据的同比和环比结果。分析语句必须配合查询语句一起使用,格式为查询语句|分析语句,语法说明请参见聚合函数

    • 在搜索框右侧,单击image图标,切换为交互式查询分析方式。您可以使用Data Explorer简单、快速地构建查询和分析语句,无需编写SQL代码。具体操作,请参见高性能完全精确查询与分析(SQL独享版)

    语句说明

    日志分析的语句分为查询语句和分析语句,查询语句和分析语句之间以竖线(|)分隔。

    查询语句|分析语句
    • 查询语句的语法为日志服务专有语法,查询满足条件的日志数据,可以单独使用。查询语句可以为关键词、数值、数值范围、空格、星号(*)等;如果为空格或星号(*),表示无过滤条件。

      查询语法根据索引配置方式可分为全文查询和字段查询。更多信息,请参见查询语法与功能

      全文查询

      指定关键字进行全文查询。您可以用双引号("")包裹关键字,查询包含该关键字的日志;也可以用空格或and分隔多个关键字,查询包含指定关键字的日志。

      • 多关键字查询

        搜索包含所有www.aliyun.compass的日志。

        www.aliyun.com pass

        www.aliyun.com and pass
      • 条件查询

        搜索所有包含www.aliyun.com,并且包含pass或者tcp的日志。

        www.aliyun.com and (pass or tcp)
      • 前缀查询

        搜索所有包含www.aliyun.com,并且以tcp_开头的日志。

        www.aliyun.com and tcp_*
        说明

        查询中只支持后缀添加*,不支持以*作为前缀(如*_not_establish)。

      字段查询

      指定字段名称和字段值进行查询。字段查询支持数值类型字段的比较查询,格式为字段:值字段 >= 值;同时,通过andor等可进行组合查询,并支持与全文搜索组合使用。

      云防火墙日志分析支持索引的字段,请参见支持索引的字段

      • 查询多字段

        查询指定客户端192.XX.XX.22访问目的地址192.XX.XX.54的访问日志。

        src_ip: 192.XX.XX.22 and dst_ip: 192.XX.XX.54
      • 查询字段是否存在

        • 查询包含cloud_instance_id字段的日志。

          cloud_instance_id: *
        • 查询不包含cloud_instance_id字段的日志。

          not cloud_instance_id: *
    • 分析语句是对查询结果或全量数据进行计算和统计,必须与查询语句一起使用。如果分析语句为空,表示只返回查询结果,不进行分析。分析语句的语法与函数说明,请参见查询与分析概述

    常用的查询语句

    以下为您介绍云防火墙日志的常用查询语法和示例。

    流量大小查询语句

    • 查询互联网主动向内部资产1.2.*.*发起访问的网络记录,并统计流入资产的流量总大小和报文总数。

      log_type:internet_log and direction:"in" and dst_ip:1.2.*.* | select sum(in_packet_bytes) as flow, sum(in_packet_count) as packet
    • 查询NAT边界防火墙流量,并以源IP、目的IP、目的端口字段聚合,分析流入资产和流出资产的总流量大小Top 10情况。

      log_type:nat_firewall_log | select src_ip, dst_ip, dst_port, sum(in_packet_bytes) as in_bytes, sum(out_packet_bytes) as out_bytes, sum(total_packet_bytes) as total_bytes group by src_ip, dst_ip, dst_port order by total_bytes desc limit 10

    访问控制常见语句

    • 查询互联网主动向内部资产发起访问,并且命中访问控制策略的流量日志。

      log_type:internet_log and direction:"in" and not acl_rule_id:00000000-0000-0000-0000-000000000000

      其中,not acl_rule_id全为0表示命中访问控制策略,其他情况则表示未命中访问控制策略。

    • 查询内部资产主动向互联网发起访问、并且命中访问控制策略被拦截的流量日志,分析Top 10目的IP、目的端口的分布情况。

      log_type:internet_log and direction:out and not acl_rule_id:00000000-0000-0000-0000-000000000000 and rule_result:drop | select dst_ip, dst_port, count(*) as cnt group by dst_ip, dst_port order by cnt desc limit 10
    • 查询内部资产主动向互联网发起访问、目的端口443、报文数大于3(完成TCP 3次握手)、未识别到域名信息的流量日志,并以目的IP段、应用字段聚合,分析源IP、目的IP、应用的Top 10情况。

      log_type:internet_log and direction:out and dst_port:443 and total_packet_count>3 and domain:""| select array_agg(distinct src_ip) as srcip, array_agg(distinct dst_ip) as dstip, slice(split(dst_ip,'.' ,4),1,3) as dstip_c, app_name, COUNT(1) as cnt GROUP by dstip_c,app_name order by cnt desc limit 10

    攻击防护常见语句

    • 查询互联网主动向内部资产主动发起访问、并且命中攻击防护策略的流量日志。

      log_type:internet_log and direction:"in" and not ips_rule_id:00000000-0000-0000-0000-000000000000

      其中,not ips_rule_id全为0表示命中攻击防护策略,其他情况则表示未命中攻击防护策略。

    • 查询内部资产主动向互联网发起访问、并且命中攻击防护策略的流量日志,查看IP、端口、应用、域名、IPS策略结果等信息。

      log_type:internet_log and direction:out and not ips_rule_id:00000000-0000-0000-0000-000000000000 | select src_ip, dst_ip, dst_port,app_name, domain,ips_rule_id, ips_rule_name, rule_result
  3. 单击查询/分析,查看查询分析结果。详细介绍,请参见查看查询分析结果

查询结果分析

您可以通过直方图、原始日志等模块展示的数据,查看日志查询分析结果。

直方图

直方图展示查询到的日志在时间上的分布情况。

image

  • 将鼠标悬浮在绿色数据块上时,您可以查看该数据块代表的时间范围和日志命中次数。

  • 双击绿色数据块,您可以查看更细时间粒度的日志分布,同时原始日志页签中将同步展示指定时间范围内的查询结果。

原始日志

原始日志展示了日志的查询分析结果。您可以使用原始模式或者表格形式来查看。

image

序号

说明

图示①

切换日志的展示格式、排序时间等。

图示②

单击image图标,可下载日志到本地或查看日志的下载记录。详细介绍,请参见导出日志

图示③

展示日志显示字段、索引日志和系统字段。

  • 索引字段区域,单击目标字段后的image图标,将字段添加到显示字段中,在右侧日志信息中显示。

  • 显示字段区域,单击目标字段后的image图标,将索引字段从显示字段中清除,在右侧日志信息中不再显示。

    说明

    未添加任何显示字段时,右侧日志信息展示系统默认配置的字段。

  • 单击字段后的image图标,查看字段的基本分布情况统计指标等信息。具体操作,请参见字段设置

图示④

  • 展示日志详情,日志字段的详细介绍,请参见日志字段

    • 单击image图标,复制日志内容。

    • 单击image图标,调用SLS Copilot,基于日志内容总结信息、查找错误信息等。

  • 您可以单击日志上方的信息为日志字段添加不同类型的事件,便于深入分析日志。事件行为包括打开日志库、打开快速查询、打开仪表盘和自定义HTTP链接。具体操作,请参见事件配置

    image

相关文档

  • 日志字段的详细说明,请参见日志字段

  • 您可以将日志查询分析结果导出到本地进行存储。具体操作,请参见导出日志

  • 如果日志较多,并且您需要长期保存日志,您可以定期将日志数据投递至OSS Bucket中进行存储与分析。具体操作,请参见创建OSS投递任务(新版)