VPC流日志

控制台

API

创建流日志前，请确保您已开通流日志功能，且已在日志服务产品中创建了Project和Logstore：

• 调用OpenFlowLogService开通流日志功能。

• 调用CreateProject创建Project，调用CreateLogStore创建Logstore。

确保满足上述条件后，您可以：

• 调用CreateFlowLog创建流日志，可选调用CreateIndex创建索引。

• 调用DeactiveFlowLog停止流日志。

• 调用ActiveFlowLog启动流日志。

• 调用DeleteFlowLog删除流日志。

Terraform

Resources: alicloud_log_project, alicloud_log_store, alicloud_vpc_flow_log

# 指定创建流日志的地域
provider "alicloud" {
  region = "cn-hangzhou"
}

# 指定Project的描述、Logstore和流日志的名称
variable "name" {
  default = "vpc-flowlog-example"
}

# 生成随机数，用于生成project名称
resource "random_uuid" "example" {
}

# 创建日志服务Project
resource "alicloud_log_project" "example" {
  project_name = substr("tf-example-${replace(random_uuid.example.result, "-", "")}", 0, 16)
  description  = var.name
}

# 创建日志服务Logstore
resource "alicloud_log_store" "example" {
  project_name          = alicloud_log_project.example.project_name
  logstore_name         = var.name
  shard_count           = 3
  auto_split            = true
  max_split_shard_count = 60
  append_meta           = true
}

# 创建VPC流日志
resource "alicloud_vpc_flow_log" "example" {
  flow_log_name        = var.name
  log_store_name       = alicloud_log_store.example.logstore_name
  description          = var.name
  traffic_path         = ["all"] # 采集所有场景
  project_name         = alicloud_log_project.example.project_name
  resource_type        = "VPC" # 资源类型为VPC
  resource_id          = "vpc-bp1ekmgzch0bo3hxXXXXXX" # VPC的ID
  aggregation_interval = "1" # 采集时间窗口为1分钟
  traffic_type         = "All" # 采集全部流量，无论访问控制允许还是拒绝
}

控制台

API

调用GetLogsV2查询分析流日志。

分析公网访问ECS的来源IP

如图，假设您已经创建了1台向公网开放的、监听80端口的Web服务器，并通过安全组限制了源IP访问。

那么您可以通过创建流日志，来查询访问80端口的来源IP，并统计访问被安全组允许或拒绝的情况。

1. 创建流日志

   • 资源实例选择Web服务器的弹性网卡。

   • 流量类型选择全部流量。

   • 投递配置选择投递至日志服务并开启流日志分析报表功能。

   • 其他选项保持默认。

2. 分析流日志

   1. 查询分析语句

      过滤访问10.0.0.1:80端口的源IP，并显示每个IP被安全组允许和拒绝的次数：

      dstaddr:10.0.0.1 AND dstport:80 | SELECT -- 过滤目的IP是10.0.0.1，目的地端口是80的日志
      srcaddr,
      SUM(CASE WHEN action = 'ACCEPT' THEN 1 ELSE 0 END) AS accept_count, -- 每当ACCEPT（即被允许）时计1
      SUM(CASE WHEN action = 'REJECT' THEN 1 ELSE 0 END) AS reject_count -- 每当REJECT（即被拒绝）时计1
      FROM log
      GROUP BY srcaddr -- 按源IP地址分组
      ORDER BY accept_count + reject_count DESC -- 按照“安全组允许+拒绝”的总次数倒序排列

   2. 效果预览

      如图，srcaddr列显示访问80端口的源IP，accept_count和reject_count列分别统计每个源IP被安全组允许和拒绝的流日志条目数，即在查询时间内：

      • 访问80端口来源IP有6个，分别为XX.XX.77.149、XX.XX.138.199、XX.XX.87.21。

      • 前两个公网IP（XX.XX.77.149和XX.XX.138.199 ）的请求全部被允许，其他公网IP的请求全部被拒绝。

分析ECS互访流量

配置项	分析VPC内部的ECS互访流量	分析VPC之间的ECS互访流量
示意图
示例说明	如图所示，假设您在1个VPC中部署了3台ECS，且ECS之间有互访流量。 此时，您可以使用流日志功能分析ECS之间互访的流量速率和变化趋势。	如图所示，假设您拥有两个位于不同地域的VPC，每个VPC内均部署有多台ECS实例。两个VPC已通过对等连接实现内网互通，对等连接使用CDT按量计费。 最近发现，跨地域流量费用较以往突增，此时您可以使用流日志定位高流量ECS实例，从而优化流量成本。
创建流日志配置	资源实例选择ECS1的弹性网卡 投递配置选择投递至日志服务，并开启流日志分析报表功能 其他选项保持默认	资源实例选择专有网络VPC1 投递配置选择投递至日志服务，并开启流日志分析报表功能 其他选项保持默认
查询分析语句	统计ECS1和其他ECS之间的流量速率趋势： (srcaddr:10.0.0.1 AND dstaddr:10.0.0.*) OR (srcaddr:10.0.0.* AND dstaddr:10.0.0.1 ) | select --过滤ECS1和其他ECS之间的流量趋势 date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- 将Unix时间戳转换为可读的时间格式 concat(srcaddr,'->', dstaddr) as src_to_dst, -- 拼接IP会话对，格式为“源ip->目的ip” sum(bytes*8/60) as bandwidth -- 将字节转换为比特，并除以采集窗口时间1分钟 group by time,srcaddr,dstaddr -- 根据时间、源ip、目的ip分组 order by time asc -- 按时间升序 limit 100 -- 显示前100条结果	统计2个VPC之间的会话流量速率趋势： (srcaddr:10.0.* AND dstaddr:172.16.*) OR (srcaddr:172.16.* AND dstaddr:10.0.*) | select --过滤2个VPC之间的会话 date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, -- 将Unix时间戳转换为可读的时间格式 concat(srcaddr,'->', dstaddr) as src_to_dst, -- 拼接IP会话对，格式为“源ip->目的ip” sum(bytes*8/60) as bandwidth -- 将字节转换为比特，并除以采集窗口时间1分钟 group by time,srcaddr,dstaddr -- 根据时间、源ip、目的ip分组 order by time asc -- 按时间升序 limit 100 -- 显示前100条结果
效果预览	如图，10.0.0.1发送到10.0.0.2的流量速率最大，约为180Kbps。10.0.0.1发送到10.0.0.3的流量速率次之，约为90Kbps，其他流量占比较小。	如图，每个IP会话之间的速率趋势较为稳定，其中172.16.0.3发送到10.0.0.1的流量最大，约为5Mbps。

分析公网NAT流量

如图，假设您在某地域拥有多台ECS，且都部署在同一个交换机中，这些ECS通过公网NAT网关的SNAT功能访问互联网。

近期发现NAT访问公网的流量突增，导致服务器响应变慢，此时您可以通过流日志，排查分析流量占比高的ECS。

1. 创建流日志

   • 资源实例选择公网NAT网关所在的交换机2。

   • 投递配置选择投递至日志服务并开启流日志分析报表功能。

   • 其他选项保持默认。

2. 过滤特定流量路径的方法

   在本示例场景中过滤特定路径的流量信息时，需要在查询语句限定不同的条件：

   示意图	序号	过滤方法
   	①	过滤从ECS到NAT网关的流量：direction为in，srcaddr为ECS私网IP地址
   	②	过滤从NAT网关到公网的流量：direction为out，srcaddr为NAT网关私网IP地址
   	③	过滤从公网到NAT网关的流量：direction为in，dstaddr为NAT网关私网IP地址
   	④	过滤从NAT网关到ECS的流量：direction为out，dstaddr是ECS私网IP地址

3. 分析流日志

   1. 查询分析语句

      在ECS到NAT网关的这段路径上，分析去往特定公网IP地址的流量：

      direction: 'in' and srcaddr: 10.0.0.* and dstaddr: 120.26.XX.XX | select -- 过滤ECS访问特定公网IP地址的日志
      date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time, srcaddr,  -- 将Unix时间戳转换为可读的时间格式
      sum(bytes*8/60) as bandwidth  -- 将字节转换为比特，并除以采集窗口时间1分钟
      group by time,srcaddr -- 以时间、源ip分组
      order by time asc  -- 按时间升序
      limit 100 -- 显示前100条结果

      其他常用语句

      • 在NAT网关到ECS的这段路径上，筛选某一特定公网IP到所有ECS实例的入流量信息：

        direction: 'out' and dstaddr: 10.0.0.* and srcaddr: 120.26.XX.XX | select -- 过滤ECS访问特定公网IP地址的日志
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,   -- 将Unix时间戳转换为可读的时间格式
        dstaddr,
        sum(bytes*8/60) as bandwidth  -- 将字节转换为比特，并除以采集窗口时间1分钟
        group by time,dstaddr -- 以时间、目的ip分组
        order by time asc  -- 按时间升序
        limit 100 -- 显示前100条结果

      • 在ECS到NAT网关的这段路径上，筛选ECS实例去往所有公网IP的出流量信息：

        direction: 'in' and srcaddr: 10.0.0.*  | select -- 过滤ECS访问所有公网IP的日志
        date_format(from_unixtime(__time__ - __time__% 60), '%H:%i:%S') as time,  -- 将Unix时间戳转换为可读的时间格式
        concat(srcaddr,'->', dstaddr), -- 拼接IP会话对，格式为“源ip->目的ip”
        sum(bytes*8/60) as bandwidth  -- 将字节转换为比特，并除以采集窗口时间1分钟
        group by time,srcaddr,dstaddr -- 以时间、源ip分组
        order by time asc  -- 按时间升序
        limit 100 -- 显示前100条结果

   2. 效果预览

      

      如图可以看到，在ECS到NAT网关的这段路径上，10.0.0.1（ECS1）发送到公网IP地址120.26.XX.XX的流量速率最高，约12Kbps。

分析专线内流量占比

如图，某企业在阿里云某地域使用两个VPC部署不同业务，并通过高速通道物理专线+云企业网实现本地IDC接入阿里云。

现在IT部门准备使用流日志监控分析VPC中不同业务流量对物理专线资源的占用情况，为网络资源规划、改善网络性能提供指导。

1. 创建流日志

   创建2个流日志，集中投递到同1个logstore，每个流日志的关键配置如下：

   • 资源实例分别选择专有网络VPC1和VPC2。

   • 采样路径选择通过转发路由器（TR）的流量。

   • 投递配置选择投递至日志服务，2个流日志选择同1个logstore，并开启流日志分析报表功能。

   • 其他选项保持默认。

2. 分析流日志

   1. 查询分析语句

      分析不同VPC流入本地IDC流量的占比情况：

      action: ACCEPT and srcaddr: 192.168.* and dstaddr:10.1.* | 
      WITH 
          vpc1_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc1_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.20.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          ),
          vpc2_traffic AS (
              SELECT 
                  date_trunc('minute',__time__) AS minute,
                  SUM(bytes*8/(case WHEN "end"-start=0 THEN 1 else "end"-start end)) AS total_vpc2_traffic
              FROM 
                  log
              WHERE 
                  srcaddr LIKE '192.168.10.%'
              GROUP BY 
                  date_trunc('minute',__time__)
          )
      SELECT 
          COALESCE(vpc1_traffic.minute, vpc2_traffic.minute) AS minute,
          (COALESCE(vpc1_traffic.total_vpc1_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc1_percentage, 
          (COALESCE(vpc2_traffic.total_vpc2_traffic, 0) * 100/ NULLIF((COALESCE(vpc1_traffic.total_vpc1_traffic, 0) + COALESCE(vpc2_traffic.total_vpc2_traffic, 0)), 0)) AS vpc2_percentage
      FROM vpc1_traffic FULL OUTER JOIN vpc2_traffic ON vpc1_traffic.minute = vpc2_traffic.minute 
      ORDER BY minute

      单击查看SQL语句详细说明。

      • 过滤条件：

        • srcaddr：192.168.*，过滤源地址以192.168.*开头的日志。

        • dstaddr：10.1.*，过滤目的地址以10.1.*开头的日志。

        • action：ACCEPT，过滤action字段取值为ACCEPT的日志。

      • 主查询

        • 使用FULL OUTER JOIN将vpc1_traffic和vpc2_traffic的结果根据minute字段连接在一起。

        • 计算每分钟内两个VPC流量的百分比：

          • vpc1_percentage表示VPC1的流量在总流量中的占比。

          • vpc2_percentage表示VPC2的流量在总流量中的占比。

        • 查询结果按minute升序排序。

      • WITH子查询：

        SQL语句中包含vpc1_traffic和vpc2_traffic两个子查询，以vpc1_traffic子查询为例进行说明：

        • 使用date_trunc函数将Unix 时间戳（__time__字段）的精度降低为分钟，并命名为minute。

        • 使用SUM函数得到某一分钟内总的流量速率，单位bit/s，并命名为total_vpc1_traffic。

        • 过滤源地址为192.168.20.*（VPC1下的网段）的流量记录。

        • 按照分钟进行分组。

   2. 效果预览

      

      如图，在14:50-15:50这段时间内，VPC1流入本地IDC的流量占比较高。