云上数据中心网络方案

1.1 什么是数据中心网络？

数据中心（Data Center）是指集中存放计算资源（如服务器）、存储设备、网络设备及其相关的基础设施（如供电、制冷、消防等系统），以便于管理和处理大量数据的物理场所或设施。数据中心的诞生有以下主要原因：

• 数据量的爆炸式增长：随着计算机技术的发展和个人电脑、互联网的普及，企业和社会产生的数据量呈现爆炸式增长。传统的小规模或分散的数据存储和处理方式无法满足大规模数据管理的需求，因此需要一个专门的场所来集中存放和处理这些数据。

• 对计算资源需求的增加：信息化、数字化的到来，企业和组织需要强大的计算能力来支持日益复杂的业务流程和应用，如ERP系统、客户关系管理系统（CRM）、电子商务平台等。这些系统要求有高性能、高可靠的服务器和存储设备，而这些设备的维护和管理需要专业的环境和技术支持，促进了数据中心的形成。

• 网络技术的进步：互联网的兴起、尤其是移动互联网的发展，使得信息可以快速在全球范围内传播，这也推动了数据中心的发展。企业不仅需要内部的数据处理能力，还需要能够通过网络提供对外服务的能力，如网站托管、在线交易处理等。这需要建立稳定、高效的数据中心来保证服务质量。

数据中心网络是指在数据中心内部署的网络，用于支持服务器、存储系统和网络设备之间的高速数据交换。它旨在确保高效、可靠的数据传输，并提供对计算资源的快速访问，以满足现代企业应用和服务的需求。数据中心网络是数据中心基础设施的关键组成部分，直接影响到数据中心的整体性能、可用性和可扩展性。数据中心网络具有高性能、冗余高可用、灵活可扩展等特点，为了满足这些特点，数据中心的网络架构设计和演进非常重要。

1.2 什么是云网络？

在数字化时代，互联网已经成为基础设施。云计算使得数据中心能够像一台计算机一样工作。通过互联网将算力以按需使用、按量付费的形式提供给用户，包括：计算、存储、网络、数据库、大数据计算、大模型等算力形态。云计算的一个明显优势是弹性，能让您按需使用各类服务，灵活扩缩容，从容应对业务流量的不确定性。云计算平台下的网络具有如下特点：

• 网络虚拟化：使用SDN+VXLAN等技术，将一张数据中心的物理网络虚拟出若干个相互独立的虚拟网络。

• 多租户隔离：公共云天然多租户，每个租户使用一个或多个这样的虚拟网络来部署和管理自己的云计算等资源，租户间的网络相互不可见。

• 弹性伸缩：数据中心的网络设备变成了公共云上的网元、网络线路变成了连接。网元和连接的数量随着租户的部署产生和消亡、网元和连接的能力根据负载情况随时增加或减少。

1.3 阿里云上租户的网络：VPC

阿里云为了管理庞大的物理数据中心资源，将物理数据中心进行如下划分、抽象和管理：

• AZ：可用区（Availability Zone，简称AZ）是一个逻辑概念，指的是位于同一地理区域内，但彼此物理上独立的数据中心集合。为了便于理解，姑且可以将AZ对应到局域网。

  • 每个可用区设计有独立的供电、冷却系统及网络连接，以避免单点故障影响整个地理区域的服务。抽象出可用区的主要目的是为了提高应用程序和服务的高可用性和容错能力，即通过将资源分布在不同的可用区中，即使某个可用区出现问题，其他可用区仍然可以继续提供服务，从而保证业务连续性。

  • AZ内部设计分层的网络拓扑用于接入网络、计算和存储等设备。

• Region：每个Region是一个地理区域，通常包含一个或多个可用区（Availability Zone, AZ），这些可用区之间通过低延迟的高速网络连接，但又相互独立以提供故障隔离。为了便于理解，姑且可以将Region对应到城域网。

  • 每个Region位于不同的地理位置，这有助于满足数据驻留法规要求、降低访问延迟，并提高灾难恢复能力。

  • 每个Region设计连接ISP公网的出口，用于与互联网连接。

  • 每个Region设计专线接入区，用于专线连接。

• Region间互联：企业需要在全球范围内分布数据、实现灾难恢复策略或者优化全球用户的访问体验等，这就使得每个独立的Region之间要进行私网互联。为了便于理解，姑且可以将Region间互联对应到广域网。

Virtual Private Cloud，虚拟专有云，是在公共云上为租户单独开辟的隔离于其他租户的云空间，它不仅仅是网络，更是云、更像是一个云上的容器、包含了此租户所使用的云产品和云服务。

我们阿里云把它叫“专有网络”，实际上是为了对标云下的数据中心网络，只是从通信角度来说明其内承载的云服务依赖于这个专有网络来通信，这个网络是此租户专有的、隔离于其他租户的。

我们通常将阿里云的一个Region当作一个云上数据中心，客户的业务系统部署在这个Region的多个VPC中，因此需要设计构建VPC内的网络和这个Region内多个VPC间的网络。

3.1 VPC内网络方案

【方案概述】VPC是承载云资源的容器和平台，VPC内网络的规划和设计至关重要，它关系到云资源是否安全、后期扩容是否平滑、运维是否方便等问题。从VPC选址、IP地址规划、子网和路由规划、安全防护等角度设计VPC内网络。

1、确定地理位置

• 根据业务的服务对象所在位置选择地域（Region）。根据云资源储备情况、可用区时延情况选择可用区AZ

2、IP地址规划

• VPC网段：根据未来网络容量大小（超大型10/8，大型172.16/12，中型192.168/16），建议至少选择16位掩码

• 多VPC间地址不能重叠

• 业务交换机网段：超大型、大型VPC建议选择20位子网掩码（包含4K个地址），中型VPC建议选择24位子网掩码（包含252个地址）

3、业务子网交换机

• 如图中的业务子网A、B、C、D、E，用来放置云服务器、云数据库等，这些交换机中的云产品实例私网地址默认全互通

• 建议多可用区冗余部署、提升可用性，如业务子网A与B、业务子网C与D

• 业务子网交换机，如果没有和公网通信的诉求，为其创建私网路由表（没有默认路由0.0.0.0/0）并关联

4、入云（被公网访问）连接

• 如果VPC中部署被公网客户端访问的服务系统，建议使用负载均衡SLB

• SLB实例采用多可用区部署、提升可用性

• 为SLB实例在多可用区创建交换机和子网，如图中的SLB子网A、B、C、D

• 承接公网访问的SLB实例关联弹性公网IP（如图的EIP3）、连接到公网，其所在的子网交换机关联到系统路由表（默认，公网）；在IPv4网关激活时此路由表中的默认路由0.0.0.0/0将访问的应答流量引流到IPv4网关送到公网，IPv4网关不激活时不需要此默认路由而直接抵达公网

5、出云（访问公网）连接

• 如果VPC中部署的云服务器有访问公网的需求，建议使用NAT网关

• 建议在要出网的云服务器所在可用区分别创建NAT交换机和子网，如图中的NAT子网A、B；在这些交换机中都创建NAT网关实例、尽量避免跨可用区访问NAT网关（降低可用区故障时对出网访问的影响）

• NAT实例关联弹性公网IP（如同的EIP1、EIP4，每个NAT网关可关联多个EIP提升带宽和并发连接）、连接到公网，其所在的子网交换机关联到系统路由表（默认，公网）；在IPv4网关激活时此路由表中的默认路由0.0.0.0/0将出网流量引流到IPv4网关送到公网，IPv4网关不激活时不需要此默认路由而直接抵达公网

• 在NAT网关上配置SNAT规则（对应要出网的业务交换机或者云服务器）

• 为要出网的业务交换机创建引流到NAT网关的路由表（如图子网路由表1（NAT网关））并关联，此路由表中的默认路由0.0.0.0/0将出网流量引流到NAT网关

6、ECS直通公网

• 有些应用服务器是随着业务需求随时拉起和释放的、服务端口是随机的（比如游戏的战斗服、房间服，音视频会议服等）；有些应用服务器出网访问需要独立的带宽，避免共用NAT网关被其他服务干扰。对于这些服务器不经过SLB或NAT、而是通过EIP直通公网更适合。ECS直通公网有以下2种方式：

  • EIP以普通模式直接绑定到ECS，使ECS直接具备入出公网的能力。此时EIP是一种NAT IP（在后台隐藏的公网网关上做NAT映射），所以在ECS实例的私网网卡上无法查看到EIP。即：ECS内的应用程序不感知EIP，所以无法完成像SIP协议的源端IP+端口声明等

  • 创建辅助弹性网卡绑定到ECS，EIP以网卡可见模式绑定到辅助弹性网卡（EIP网卡可见模式不支持直接绑定ECS、不支持绑定ECS的主网卡）。此时EIP不再是公网网关上的NAT IP，EIP直接替换辅助弹性网卡的私网IP、辅助弹性网卡变为一个纯公网网卡。此方案可支持全部IP协议类型的应用，包括FTP、H.323、SIP、DNS、RTSP、TFTP等

7、IPv4网关设计【可选&推荐】

• 当要控制服务器配置公网IP或绑定EIP、公网SLB直出公网时，开启IPv4公网网关。公网网关开启后，所有交换机关联的路由表必须有到公网网关的路由才能去公网

8、安全防护设计【可选】

• 网络访问控制列表（NACL）可以控制交换机（子网）粒度流量阻断，网络ACL是无状态的

• 安全组可以控制服务器粒度的流量阻断，安全组是有状态的

9、监控和日志记录【可选】

• 配置NIS进行日常诊断观测，按需使用flowlog 和流量镜像，并配置对应云监控告警

10、容器的VPC网络设计类似，区别在于以下几点：

• Terway网络插件时，需额外规划Pod交换机和子网

• Flannel网络插件时，需要考虑VPC路由表路由条目容量配合、Pod网段避免冲突

• 入云连接采用NLB做LoadBalancer或ALB做Ingress方式（参见应用交付网络方案部分）

• Pod可以关联EIP直通公网（不支持网卡可见模式）

3.2 同Region的VPC间网络方案

当部署在不同VPC中的业务系统间需要访问时，就需要考虑VPC间互通的方案。包括互通与隔离设计，打印机、文档库等共享服务的访问设计，大型企业公网出入口的统一管控等。