范少冲 阿里云智能GTS-SRE团队 技术服务经理

多年从事IT/云计算领域工作,具有丰富的交付和运维经验,服务过海内外多家500强客户。现就职于阿里云智能GTS-SRE团队,主要负责混合云大客户技术支持,以及网络和安全方面的运维工作。

前言

网络是奠定上层系统稳定和安全的重要基石。目前专有云版本以V3居多,且V2版本也将于2020年12月31日停止服务和技术支持。本文将对V3版本的专有云网络架构进行介绍。

V3专有云网络整体架构

图1:V3专有云网络架构图

如上图所示,V3专有云网络整体架构的特征如下:

  • V3版本网络架构为两层CLOS,去除PSW层,ASW与DSW直接互连,有效降低网络建设成本。
  • 两层组网(DSW/ASW),ASW和DSW之间跑Layer3。
  • 一组ASW为基础的网络建设单元,全万兆组网。
  • 可根据服务器规模,选择DSW的数量(2/4核心)和设备型号(4/8/16个slot)。

设计概要

  • DSW数量为4台,分为两种规格。

    18个插槽DSW,每个插槽最大支持36*40G端口密度(同时支持100G端口)。

    4个插槽DSW,每个插槽最大支持36*40G端口密度(同时支持100G端口)。

  • 无PSW层设计。
  • ASW两台为一对最小部署单元,进行堆叠后提供跨设备的链路聚合能力。并提供48个万兆接入端口,和440G的上行端口,240G的互连端口。
  • 上联。

    8槽DSW每台预留不超过32个40G端口作为上联CSR或者其他设备使用。整个集群最大的外联带宽5.12Tbps。

    4槽DSW每台预留不超过16个40G端口作为上联CSR或者其他设备使用。整个集群最大的外联带宽2.56Tbps。

  • 每台ASW上下行带宽收敛比为1:3。
  • ASW与DSW之间运行直连EBGP路由协议,构成underlay的逻辑拓扑。

功能模块设计

V3网络架构可划分为综合接入区和业务服务区,综合接入区分为内网接入模块、外网接入模块,业务服务区分为综合接入模块、数据交换模块。

图2:V3网络架构功能划分

内网接入模块

图3:内网接入模块结构图

由一组两台CSW通过专线与客户网络打通,提供用户自有网络接入云上VPC,实现用户自有网络与专有云网络打通,既可以满足用户访问云上VPC,也可以满足用户的普通云服务接入,这也就是我们通常说的“并网”。

CSW做为专有云网络与客户网络的“边界”,在金融领域实际项目中需要接入物理防火墙等安全产品保障网络边界安全性,另外CSW还是用户访问VPC虚拟网络的入口,做为VXLAN接入点,承担着VXLAN隧道的封装和解封装的重任,V1.0网络架构中,一组CSW连接客户专线最大支持160G。

外网接入模块

图4:外网接入模块结构图

由两台ISW/CSR作为一组外网接入节点,与ISP骨干连接,通过静态路由或EBGP实现云网络内外部路由分发,交互业务服务区通过外网接入模块与公网互通。

需要注意的是ISW与ISP运营商的交互信息,会使用分光器获取到一份in/out双向流量传输给云盾模块(分流器、beaver、guard)。当出现网络攻击时,云盾会给ISW发送明细路由将攻击流量引入云盾服务器清洗,清洗干净的流量通过策略路由回注回ISW。

另外ISW与CSR的区别需要看具体场景,ISW是三层交换机,CSR是路由器,默认情况外网接入模块输出ISW,只有对于有高级三层应用的场景或要求非以太网接口类型时可考虑采用CSR。

综合接入模块

图5:综合接入模块结构图

负责接入各类网络云产品,例如XGW/SLB/OPS服务器,LSW会与这些服务器跑OSPF动态路由协议,将网络打通,实现NAT转换、SLB负载均衡等重要功能。

数据交换模块

图6:数据交换模块结构图

数据交换模块是整个IDC网络的核心,由DSW和ASW组成,为所有云业务服务器提供接入,所有云业务服务器间的内部流量交互在本模块内完成,根据网络规模支持DSW2~4台横向扩展。整个数据交换模块内部DSW与ASW之间,以及与各个模块之间均用EBGP互联,通过DSW接收ISW发布的外网路由,发布云产品公网服务地址网段到ISW;ASW交换机两两堆叠,NC网卡bond后双上到一组ASW,且ASW根据需要可选配千兆或者万兆;每张网络会固定一组千兆ASW作为XGW/SLB/OPS带内管控接入。

结语

网络是上层系统稳定安全的基石,以上便是V3版本专有云网络架构的相关内容,希望对读者有所帮助。