联合日志服务查询分析智能接入网关流量

本文为您介绍如何通过日志服务SLS(Log Service)查询分析智能接入网关流量。

前提条件

  • 您已经创建了日志服务Project和Logstore。具体操作,请参见日志服务快速入门

  • 您的智能接入网关设备已经连接到阿里云。具体操作,请参见单机旁挂静态路由上云

  • 请确保您的智能接入网关设备型号为SAG-1000。

背景信息

智能接入网关提供流日志功能。流日志可以帮您记录智能接入网关流量传输信息到阿里云日志服务或者您的Netflow服务器上。本文以日志服务为例,为您介绍如何将智能接入网关流量传输信息保存到阿里云日志服务中,并指导您如何在日志服务平台上对智能接入网关流量进行查询分析,方便您了解您的流量分布。

步骤一:接入数据

在您查询分析您的流量前,您需要先执行以下操作将您的智能接入网关流量传输信息记录到指定的Project和Logstore中。

  1. 创建流日志实例。

    您需要在智能接入网关管理控制创建流日志实例,每一个流日志实例会关联一个Project和Logstore,用于存储流量传输信息。

    1. 登录智能接入网关管理控制台

    2. 在左侧导航栏,单击流日志

    3. 流日志页面,单击创建流日志

    4. 创建流日志面板,根据以下信息进行配置,然后单击确定

      • 名称:输入流日志名称。

      • 活跃流输出间隔:输入保持活跃的网络连接流日志输出的时间间隔。默认值为300秒,取值范围为60~6000秒。

      • 非活跃流输出间隔:输入非活跃的网络连接流日志输出的间隔。默认值为15秒,取值范围为10~600秒。

      • 输出目的类型:选择日志存储类型。本教程选择SLS

        • 如果您需要将日志信息存储在阿里云日志服务平台上,请选择SLS

        • 如果您需要将日志信息存储在您的Netflow服务器上,请选择Netflow

        • 如果您需要将日志信息同时存储在阿里云日志服务平台和您的Netflow服务器上时,请选择ALL

      • SLS Region:选择日志服务所属的地域。

      • SLS Project:选择存储流日志信息的日志库所属的项目。

      • SLS Logstore:选择日志库。日志库用来存储流日志信息。

      更多参数说明信息,请参见创建流日志

  2. 关联智能接入网关。

    创建流日志实例后,您需要将智能接入网关实例关联到流日志实例上,关联后,智能接入网关实例的流量传输信息将会被存储到指定的Project和Logstore上,后续您可以在日志服务控制台,进行查询分析。

    1. 流日志页面,找到已创建的流日志实例,单击流日志实例ID。

    2. 在流日志实例详情页面,单击添加实例

    3. 添加实例面板,选中目标智能接入网关实例,然后单击保存

步骤二:查询分析流量

配置流日志后,您可以在日志服务平台,查询分析已搜集到智能接入网关的流量信息。

  1. 登录日志服务控制台

  2. Project列表区域,单击目标Project。

  3. 日志存储 > 日志库页签中,单击目标Logstore。

  4. 开启索引。具体操作,请参见开启并配置索引

    索引是一种存储结构,用于对日志数据中的一列或多列进行排序。您只有配置索引后,才能进行查询和分析操作。不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理配置索引。本教程开启字段索引并打开统计功能。字段索引

    说明

    在您配置字段索引时,请您确保bytes字段为TEXT类型,方便后续进行数据分析统计。

  5. 开启索引后,您可以进行查询分析操作。以下内容以查询TOP 10的五元组信息为例,为您展示如何查询分析流量。

    1. 在搜索框输入查询分析语句。

      本教程要查询的五元组流量对应的字段为:srcaddr、srcport、dstaddr、dstport、protocol。

      
      * | select srcaddr,srcport,dstaddr,dstport,protocol,count(*) as num,sum(bytes) as bytes
      from (select CASE
      WHEN strpos(bytes, 'M') != 0 then
      (CAST(replace(bytes,'M') AS double)*1024*1024)
      WHEN strpos(bytes, 'K') != 0 then
      (CAST(replace(bytes,'K') AS double)*1024)
      else CAST(bytes AS double) end
      as bytes,srcaddr,srcport,dstaddr,dstport,protocol from log limit 100000)
      GROUP BY srcaddr,dstaddr,srcport,dstport,protocol ORDER BY bytes DESC limit 10
                                      

      系统默认为您搜索最近15分钟内的数据。在您进行查询分析时,您可以自定义时间段。查询分析

      说明

      在您制定查询分析语句时,请以您日志中的字段为准,本教程中的字段仅作参考。关于查询分析语句的更多信息,请参见查询概述

    2. 单击查询/分析

      系统自动为您跳转到统计图表页面以表格形式为您展示TOP 10五元组流量的统计数据。您可以选择其他数据展现方式,更多信息,请参见统计图表概述

      本教程采用饼图展现统计数据。

    3. 统计图表的饼图页面下,调整饼图属性,自定义饼图展示结构。

      本教程调整以下两个属性,其余属性保持默认值。更多信息,请参见饼图

      • 分类:数据分类。

        本教程以srcaddr、srcport、dstaddr、dstport、protocol字段对数据进行分类。只有流量的五个字段全部一致,才会进行计数。

      • 数值列:分类数据对应的数值。

        本教程以bytes字段为数值列。

      五元组饼图

  6. 可选:您可以参见以上的操作,查询TOP 10三元组信息和TOP 10源目IP地址信息。

    • 查询TOP 10三元组信息

      • 查询字段:srcaddr、dstaddr、protocol。

      • 查询语句:

        
        * | select srcaddr,dstaddr,protocol,count(*) as num,sum(bytes) as bytes
        from (select CASE
        WHEN strpos(bytes, 'M') != 0 then
        (CAST(replace(bytes,'M') AS double)*1024*1024)
        WHEN strpos(bytes, 'K') != 0 then
        (CAST(replace(bytes,'K') AS double)*1024)
        else CAST(bytes AS double) end
        as bytes, srcaddr,dstaddr,protocol from log limit 100000)
        GROUP BY srcaddr,dstaddr,protocol ORDER BY bytes DESC limit 10
                                                
      • 查询结果:三元组饼图

    • 查询TOP 10源目IP地址信息

      • 查询字段:srcaddr、dstaddr。

      • 查询语句:

        * | select srcaddr,dstaddr,count(*) as num,sum(bytes) as bytes
        from (select CASE
        WHEN strpos(bytes, 'M') != 0 then
        (CAST(replace(bytes,'M') AS double)*1024*1024)
        WHEN strpos(bytes, 'K') != 0 then
        (CAST(replace(bytes,'K') AS double)*1024)
        else CAST(bytes AS double) end
        as bytes, srcaddr,dstaddr from log limit 100000)
        GROUP BY srcaddr,dstaddr ORDER BY bytes DESC limit 10
      • 查询结果:源目IP饼图

步骤三:(可选)添加统计图表到仪表盘

日志服务支持将查询分析结果通过图表形式保存到仪表盘中,为您后续重复查看提供便利。

  1. 在饼图的右上方,单击添加到仪表盘

  2. 添加仪表盘对话框,配置以下信息,然后单击确认

    • 操作类型:本教程选择新建仪表盘

    • 仪表盘名称:输入仪表盘名称。本教程输入五元组统计

    • 图表名称:输入图表名称。本教程输入五元组饼图统计

    更多信息,请参见添加统计图表到仪表盘

  3. 在左侧导航栏,单击仪表盘

  4. 单击刚刚创建的仪表盘名称,查看仪表盘信息。

    在仪表盘页面,单击时间选择,您可以查看任意时间段内的查询分析结果。更多信息,请参见显示模式五元组仪表盘