混合云网络流量分析三方联合最佳实践
本实践借助业内优秀的第三方网络性能分析(Network Performance Management,以下简称NPM )产品配合,在阿里混合云平台为客户提供多场景网络流量采集、分析服务能力。
背景信息
在金融等核心领域,网络流量数据采集和智能分析,已经成为支撑业务稳定运行和快速演进的重要能力。随着客户基础设施,从传统自建IDC到混合云的演进,云上云下一致性的网络流量分析能力成为混合云平台的强需求。
本文内容适用于以下场景:
流量采集分发:提供物理网络探针、虚拟网络及容器全网流量采集、存储及引流再分发的能力。
网络质量分析:高效展示多地区、可用区、虚拟机、宿主机、应用、PoD、服务等维度的关联性、连接状态、性能等网络性能指标。
多维数据聚合:构建网络知识图谱,提供关联网络、云平台、容器平台、服务等各平台信息,快速查询关联信息。
监控纳管:报警、报表、视图、资产管理等。
云原生兼容:流量分析组件支持弹性伸缩,满足云原生场景下架构横向扩容的需求。
使用场景具备特点如下图所示。
在专有云场景部署网络性能分析(NPM)组件
部署架构图专有云侧配置
服务隧道资源开通需要前置数据支持,请确认开通对应的服务隧道前已完成对应资源的部署和信息收集。
需要开通的隧道资源如下。
类型 | 数量 | 是否必选 | 备注 |
---|---|---|---|
正向访问隧道 | >=2 | 是 | 控制器,数据处理组件必选。 |
反向访问 | 不涉及 | 否 | 仅在ACK网络流量分析场景下适用。 |
第三方NPM组件配置
服务前置部署准备。
由第三方技术工程师完成在经典网络中, 第三方NPM组件、主备控制器、数据处理组件的部署工作。
记录NPM组件主备服务器、数据处理组件的IP地址信息、专有云侧主备控制器、数据处理组件开通的服务隧道IP,并记录于表格。表格如下。
组件名称
IP地址
备注
NPM 主控制器
NPM 备控制器
数据处理节点-A
数据处理节点-B
数据处理节点-C
控制器-正向访问隧道
服务端口:tcp:123,tcp:456,tcp:789(示例)
数据处理组件-正向访问隧道
服务端口:tcp:123,tcp:456,tcp:789(示例)
反向访问隧道VIP及端口
映射端口:tcp:6185(示例)
虚拟网络探针配置。
虚拟网络探针需要在安装完成后,配置控制器节点IP地址及服务端口信息,可按照步骤1中记录的已申请好的IP地址完成配置。
本文以NPM的第三方合作伙伴云杉网络(通过阿里云专有云企业版V3版本兼容性测试认证) 的虚拟网络探针
trident
为例:安装采集器二进制文件。针对不同的发行版,您可以选择以下两种安装方式。
CentOS或RedHat。
下载
trident.rpm
安装于操作系统上。使用yum工具安装采集器。
通过
systemctl enable trident
将其设置为开机自启动。
其他发行版。
下载
trident.tar.gz
,直接解压获取trident
及trident.yaml
。设置为开机自启动。
修改
/etc/trident.yaml
,将controller-ips
改写为主备控制器的IP,例如。controller-ips: - [$IP] #此处的控制器IP地址即为前序准备中申请的正向访问隧道 地址;
重启trident服务,完成配置工作。
配置过程如图所示。
NPM组件控制器配置。
NPM组件控制器需要通过配置对外服务IP,数据处理组件对外服务IP等信息,完成管控、数据处理服务的初始化配置下发工作。
本文以云杉网络的
DeepFlow控制器
为例。确认在阿里云专有云上完成申请正向访问隧道资源。
为所有控制器IP的TCP 20035端口申请一个正向访问隧道A,如步骤1表格中的控制器-正向访问隧道。
为所有数据节点IP的TCP/UDP 20033端口申请一个正向访问隧道B,如步骤1表格中的数据处理组件-正向访问隧道。
在DeepFlow页面使用步骤1表格中记录的正向访问隧道完成如下配置操作。
管理员登录DeepFlow页面。
前往系统>控制器页面,为每个控制器配置
NAT IP
为A。前往系统>数据节点页面,为每个数据节点配置
NAT IP
为B。前往系统>采集器>配置页面,修改默认配置中的基础配置参数,选择是否请求NAT为是,开启隧道IP服务。
完成NPM组件控制器和数据处理组件的配置。
在混合云场景部署网络性能分析(NPM)组件
部署架构图
专有云侧配置
服务隧道资源开通需要前置数据支持,请确认开通对应的服务隧道前已完成对应资源的部署和信息收集。
需要开通的隧道资源如下。
类型 | 数量 | 是否必选 | 备注 |
---|---|---|---|
正向访问隧道 | >=2 | 是 | 控制器,数据处理组件。 |
反向访问 | 不涉及 | 否 | 仅在ACK网络流量分析场景下适用。 |
经典网络SLB VIP | >=1 | 否 | 仅在云下IDC通过经典网络并网适用。 |
在混合云场景下,云下IDC可通过VPN网关、智能接入网关SAG及高速通道等多种形式接入云上网络,具体接入细节可以参见阿里云混合云 Alibaba Cloud Hybrid Cloud。
第三方NPM组件配置
服务前置部署准备。
由第三方技术工程师完成在经典网络中, 第三方NPM组件、主备控制器、数据处理组件的部署工作。
记录NPM组件主备服务器、数据处理组件的IP地址信息、专有云侧主备控制器、数据处理组件开通的服务隧道IP,并记录于表格。表格如下。
组件名称
IP地址
备注
NPM 主控制器
NPM 备控制器
数据处理节点-A
数据处理节点-B
数据处理节点-C
控制器-正向访问隧道
服务端口:tcp:123,tcp:456,tcp:789(示例)
数据处理组件-正向访问隧道
服务端口:tcp:123,tcp:456,tcp:789(示例)
反向访问隧道VIP及端口
映射端口:tcp:6185(示例)
虚拟网络探针配置。
专有云内的配置方案如下。
虚拟网络探针需要在安装完成后,配置控制器节点IP地址及服务端口信息,可按照步骤1中记录的已申请好的IP地址完成配置。
本文以NPM的第三方合作伙伴云杉网络(通过阿里云专有云企业版V3版本兼容性测试认证) 的虚拟网络探针
trident
为例:安装采集器二进制文件。针对不同的发行版,您可以选择一下两种安装方式。
CentOS或RedHat。
下载
trident.rpm
安装于操作系统上。使用yum工具安装采集器。
通过
systemctl enable trident
将其设置为开机自启动。
其他发行版。
下载
trident.tar.gz
,直接解压获取trident
及trident.yaml
。设置为开机自启动。
修改
/etc/trident.yaml
,将controller-ips
改写为主备控制器的IP,例如。controller-ips: - [$IP] #此处的控制器IP地址即为前序准备中申请的正向访问隧道地址;
重启trident服务,完成配置工作。
对于云外IDC配置虚拟网络探针的场景,可参考专有云场景部署NPM组件方案中虚拟网络探针配置的章节,仅需将控制器的隧道IP替换为前期申请的经典网络SLB VIP即可,以云杉网络的
trident
虚拟网络探针为例,您需要修改/etc/trident.yaml
,将controller-ips
改写为主备控制器申请的经典网络SLB VIP,例如。controller-ips: - [$IP] #此处的控制器IP地址即为前序准备中申请的经典网络SLB VIP地址;
NPM组件控制器配置。
NPM组件控制器需要通过配置对外服务IP,数据处理组件对外服务IP等信息,完成管控、数据处理服务的初始化配置下发工作。
本文以云杉网络的
DeepFlow控制器
为例。确认在阿里云专有云上完成申请正向访问隧道资源。
为所有控制器IP的TCP 20035端口申请一个正向访问隧道A,如步骤1表格中的控制器-正向访问隧道。
为所有数据节点IP的TCP/UDP 20033端口申请一个正向访问隧道B,如步骤1表格中的数据处理组件-正向访问隧道。
在DeepFlow页面使用步骤1表格中记录的正向访问隧道完成如下配置操作。
管理员登录DeepFlow页面。
前往系统>控制器页面,为每个控制器配置
NAT IP
为A。前往系统>数据节点页面,为每个数据节点配置
NAT IP
为B。前往系统>采集器>配置页面,修改默认配置中的基础配置参数,选择是否请求NAT为是,开启隧道IP服务。
完成NPM组件控制器和数据处理组件的配置。
服务验证
部署完成后,您需要对整个系统进行验证。
各节点集群的部署状态的验证方法请参见DeepFlow用户使用手册第六章:部署扩容中的6.2.4-检查集群状态。
对于部署中遇到的问题请参见DeepFlow用户使用手册第六章:部署扩容中的6.3:常见问题。 针对告警中心中出现的异常告警,请参见DeepFlow用户使用手册第五章:告警处理,您可以按告警类型和关键字进行检索。