流日志

更新时间: 2024-11-29 14:48:35

VPC提供流日志功能,通过记录VPC中弹性网卡ENI传入和传出的流量信息,帮助您检查访问控制规则、监控网络流量和排查网络故障。

功能简介

流日志

您可以创建流日志采集指定弹性网卡、VPC或交换机的流量。如果选择为VPC或交换机创建流日志,则会采集VPC和交换机中所有弹性网卡的流量,包括在开启流日志功能后新建的弹性网卡。

image

流日志记录

流日志功能采集的流量信息会以流日志记录的方式写入日志服务SLS。每条流日志记录会采集特定采集窗口中的特定五元组网络流,采集窗口默认为10分钟,您可以根据需要调整为1分钟或5分钟。在该段采样间隔内,流日志服务会先聚合数据,再发布流日志记录。

您可以根据具体场景选择采集对应路径的流量信息,包括:采集全部场景、通过IPv4网关访问公网的流量、通过NAT网关的流量、通过VPN网关的流量、通过转发路由器(TR)的流量、通过网关终端节点访问云服务的流量、通过边界路由器(VBR)访问专线的流量、通过专线网关(ECR)的流量、通过网关型负载均衡终端节点的流量。

流日志记录字段

流日志记录的字段信息如下表所示。

字段

说明

version

流日志版本。

account-id

账号ID。

eni-id

弹性网卡ID。

vm-id

弹性网卡绑定的云服务器ID。

vswitch-id

弹性网卡所在交换机ID。

vpc-id

弹性网卡所在专有网络ID。

type

流量类型:IPv4。

protocol

流量的IANA协议编号。

更多信息,请参见Internet 协议编号

srcaddr

源地址。

srcport

源端口。

dstaddr

目的地址。

dstport

目的端口。

direction

流量方向:

  • in:入方向流量。

  • out:出方向流量。

action

与流量关联的操作:

  • ACCEPT:安全组和网络ACL允许记录的流量。

  • REJECT:安全组和网络ACL拒绝记录的流量。

packets

数据包数量。

bytes

数据包大小。

start

捕捉窗口开始时间。

end

捕捉窗口结束时间。

tcp-flags

部分TCP的标志位和对应的掩码值如下:

  • SYN:2

  • SYN,ACK:18

  • RST:4

  • PSH:8

  • URG:32

  • FIN:1

关于TCP标志通用信息(例如SYN、FIN、ACK、RST等标志的含义),请参见RFC: 793

log-status

流日志的日志记录状态:

  • OK:数据记录正常。

  • NODATA:采集窗口中没有传入或传出网络接口的网络流量,常见于备用系统、非业务高峰期或配置问题导致没有流量的场景。

  • SKIPDATA:采集窗口中跳过了一些流日志记录,常见于高流量环境或突发性流量高峰,导致内部系统过载,从而无法采集流量并跳过记录的场景。

traffic_path

流量的采样路径:

  • 6 - 通过网关终端节点访问云服务的流量。

  • 7 - 通过NAT网关的流量。

  • 8 - 通过转发路由器(TR)的流量。

  • 9 - 通过VPN网关的流量。

  • 10 - 通过边界路由器(VBR)访问专线的流量。

  • 11 - 通过CEN基础版访问同地域VPC的流量。

  • 12 - 除11、18、19、20所列出场景外通过CEN基础版的流量,如通过CEN基础版访问跨地域云服务、通过CEN基础版访问云连接网CCN等场景的流量。

  • 13 - 通过IPv4网关访问公网的流量。

  • 18 - 通过CEN基础版访问跨地域VPC的流量。

  • 19 - 通过CEN基础版访问同地域VBR的流量。

  • 20 - 通过CEN基础版访问跨地域VBR的流量。

  • 21 - 通过专线网关(ECR)的流量。

  • 22 - 通过网关型负载均衡终端节点的流量。

流日志记录示例

流日志格式如下:

<account-id> <action> <bytes> <direction> <dstaddr> <dstport> <end> <eni-id> <log-status> <packets> <protocol> <srcaddr> <srcport> <start> <tcp-flags> <traffic_path> <type> <version> <vm-id> <vpc-id> <vswitch-id>

数据记录正常且允许记录流量示例

本示例阿里云主账号ID为1210123456******,VPC流日志版本为1,在2024年7月12日17:10:20至17:11:20(1分钟内),弹性网卡eni-bp166tg9uk1ryf******允许出方向以下流量:

源地址和端口(172.31.16.139,1332)通过TCP协议(6表示TCP协议)向目的地址和端口(172.31.16.21,80)传输了10个数据包,数据包总大小为2048字节。日志记录状态为OK,无异常。

1210123456****** ACCEPT 2048 out 172.31.16.21 80 1720775480 eni-bp166tg9uk1ryf****** OK 10 6 172.31.16.139 1332 1720775420 22 - - 1 - vpc-bp1qf0c43jb3maz****** vsw-bp12632woke7abk******

数据记录正常且拒绝记录流量示例

本示例阿里云主账号ID为1210123456******,VPC流日志版本为1,在2024年7月15日10:20:00至10:30:00(10分钟内),弹性网卡eni-bp1ftp5sm9oszt******拒绝入方向以下流量:

源地址和端口(172.31.16.139,1332)通过TCP协议(6表示TCP协议)向目的地址和端口(172.31.16.21,80)传输了20个数据包,数据包总大小为4208字节。日志记录状态为OK,无异常。

1210123456****** REJECT 4208 in 172.31.16.21 80 1721010600 eni-bp1ftp5sm9oszt****** OK 20 6 172.31.16.139 1332 1721010000 22 - - 1 - vpc-bp1qf0c43jb3maz****** vsw-bp12632woke7abk******     

无数据记录状态示例

本示例阿里云主账号ID为1210123456******,VPC流日志版本为1,在2024年7月15日10:52:20至10:55:20(3分钟内),弹性网卡eni-bp1j7mmp34jlve******在此时间段内没有流量数据记录(NODATA)。

1210123456****** - - - - - 1721012120 eni-bp1j7mmp34jlve****** NODATA - - - - 1721011940 - - - 1 - vpc-bp1qf0c43jb3maz****** vsw-bp12632woke7abk****** 

跳过的数据记录状态示例

本示例阿里云主账号ID为1210123456******,VPC流日志版本为1,在2024年7月12日16:20:30至16:23:30(3分钟内),弹性网卡eni-bp1dfm4xnlpruv******的数据记录被跳过(SKIPDATA)。

1210123456****** - - - - - 1720772610 eni-bp1dfm4xnlpruv****** SKIPDATA - - - - 1720772430 - - - 1 - vpc-bp1qf0c43jb3maz****** vsw-bp12632woke7abk****** 

功能计费

关于流日志的计费,请参见流日志计费说明

使用限制

功能限制

首次使用流日志功能时,您需要在流日志管理页面单击立即开通,完成流日志功能的开通。

说明

如果您之前创建过流日志实例,单击立即开通后,已创建的流日志实例会重新展示在流日志页面。

支持的地域

公有云支持的地域

区域

支持流日志的地域

亚太

华东1(杭州)华东2(上海)华北1(青岛)华北2(北京)华北3(张家口)华北5(呼和浩特)华北6(乌兰察布)华南1(深圳)华南2(河源)华南3(广州)西南1(成都)中国香港华东6(福州-本地地域)日本(东京)韩国(首尔)新加坡马来西亚(吉隆坡)印度尼西亚(雅加达)菲律宾(马尼拉)泰国(曼谷)

欧洲与美洲

德国(法兰克福)英国(伦敦)美国(硅谷)美国(弗吉尼亚)

中东

阿联酋(迪拜)沙特(利雅得)

重要

沙特(利雅得)地域由合作伙伴运营。

金融云支持的地域

区域

支持流日志的地域

亚太

华北2 金融云(邀测)华南1 金融云华东2 金融云

政务云支持的地域

区域

支持流日志的地域

亚太

华北2 阿里政务云1

配额限制

配额名称

描述

默认限制

提升配额

vpc_quota_flowlog_inst_nums_per_user

用户支持创建的流日志实例的数量

10个

您可以通过以下任意方式自助提升配额:

管理流日志

  1. 登录专有网络管理控制台
  2. 在左侧导航栏,选择运维与监控 > 流日志。在顶部菜单栏处,选择流日志的地域。

根据您的需求,继续执行以下操作。

创建或删除流日志

创建流日志

说明

创建流日志前,请确保已满足以下条件:

  • 当您首次创建流日志时,需要单击立即授权,然后单击同意授权。授权成功后才能保证流日志可以将相关日志写入日志服务中。

  • 您已经在日志服务产品页开通了日志服务。

  • 您已经创建采集日志的资源。您可以采集指定弹性网卡VPC交换机的日志。

流日志页面,单击创建流日志。在创建流日志对话框,根据以下信息配置流日志。

  • 资源类型:选择要采集流量的资源类型。支持选择以下资源类型:专有网络交换机弹性网卡

    说明

    当弹性网卡中存在传入或传出流量时,您才可以在流日志页面,在目标流日志的操作列单击查看ENI采集范围,查看采集弹性网卡的信息。

  • 资源实例:选择要采集流量的资源实例。

  • 流量类型:选择要采集的流量类型。支持全部流量被访问控制允许的流量被访问控制拒绝的流量

  • 流量采集IP地址类型:选择要采集流量的IP地址类型,支持IPv4

  • 项目(Project)选择现有Project新建Project,存储采集流量。

  • 在:选择现有 Logstore新建 Logstore,存储采集流量。

  • 开启流日志分析报表功能:选择该功能后,所选的LogStore会开启索引并建立仪表盘,支持对数据进行SQL与可视化分析。

    日志服务索引功能按流量收费,仪表盘不收费。更多信息,请参见日志服务计费说明

  • 采样间隔(分钟):选择流日志采样的时间间隔,当前支持1分钟、5分钟和10分钟。默认采用10分钟的采样间隔。

    说明

    流日志创建完成后,您可以在流日志页面,找到目标流日志,在采样间隔(分钟)列单击编辑,修改采样间隔。

  • 采样路径:选择流日志的采样路径。当前支持采集全部场景、通过IPv4网关访问公网的流量、通过NAT网关的流量、通过VPN网关的流量、通过转发路由器(TR)的流量、通过网关终端节点访问云服务的流量、通过边界路由器(VBR)访问专线的流量。默认采集全部场景,您也可以按需配置,组合选择采集其他场景的流量。

删除流日志

您可以删除处于已启动未启动状态的流日志。删除流日志后,您仍可以通过日志管理控制台查看之前采集的流量信息。

  1. 流日志页面,找到目标流日志,然后在操作列单击删除

  2. 删除流日志对话框,单击确定

分析流日志

通过分析流日志,您可以检查访问控制规则、监控网络流量和排查网络故障。

使用日志库

  1. 流日志页面,找到目标流日志,单击日志服务列的日志库链接。

  2. 在日志管理控制台,单击查询/分析。您可以使用日志服务提供的相关功能,分析流日志。

使用Flowlog日志中心

  1. 登录日志服务控制台

  2. 日志应用区域,单击查看更多日志应用,在日志应用对话框中单击Flowlog日志中心

  3. Flowlog管理页面,单击添加。在创建实例面板中,选择创建流日志时配置的Project和Logstore。

  4. 创建实例成功后,单击Flowlog日志中心列表的实例ID。Flowlog详情页面,您可以查看并分析流日志的信息。

    日志中心

    监控中心提供以下仪表盘和自定义查询功能:

    • 概览:展示流日志的整体信息。

    • 策略统计:展示Accept趋势、Reject趋势、Accept次数统计(由五元组构成)、Reject次数统计(由五元组构成)等信息。五元组是由源网段、源端口、协议类型、目标网段和目标端口组成的集合。

      • Accept:安全组和网络ACL允许记录的流量。

      • Reject:安全组和网络ACL拒绝记录的流量。

    • ENI流量:展示弹性网卡传入和传出的流量信息。

    • ECS间流量:展示ECS实例之间的流量情况。

    • 自定义查询:您可以自行查询和分析流日志

  5. Flowlog详情页面,单击网段设置,在网段设置页签,打开开启“域间分析”开关。

    开启域间分析功能后,系统将自动创建数据加工任务,生成具有网段信息的VPC流日志,用于分析不同网段之间的流量情况。数据加工功能会收取一定的费用,您可以选择是否开启域间分析功能。

    日志服务已预设多个网段,如下图所示。当您需要分析不同网段之间的流量情况时,只需一键开启域间分析功能即可。如果预设网段未满足您的需求,您可以自定义添加网段。

    image

    域间分析提供以下仪表盘和自定义查询功能:

    • 域间流量:展示不同网段之间的流量情况。

    • ECS到区间流量:展示ECS实例到目标网段的流量情况。

    • 威胁情报:展示源IP地址与目标IP地址的威胁情报信息。

    • 自定义查询:您可以自行查询和分析具有网段信息的VPC流日志

启动或停止流日志

启动流日志

您可以启动处于未启动状态的流日志。启动流日志后,流日志才会采集弹性网卡的流量信息。

流日志页面,找到目标流日志,然后在操作列单击启动启动流日志后,流日志的状态变更为已启动

停止流日志

如果您希望暂时停止采集弹性网卡的流量信息,您可以停止流日志。停止流日志并非删除流日志,待您希望再次采集弹性网卡的流量信息时,可以启动状态为未启动的流日志。

流日志页面,找到目标流日志,然后在操作列单击停止停止流日志后,流日志的状态变更为未启动

相关文档

您可以通过其他方式,SDK、Terraform或ROS调用以下API管理流日志:

上一篇: 运维与监控 下一篇: 流日志计费说明
阿里云首页 专有网络VPC 相关技术圈