专线环境下的网元配置

ACK Edge集群支持将本地数据中心IDC服务器设备通过专线形式接入进行容器化管理。当通过专线接入集群时,您需要在接入前完成基础设施的网元配置。本文提供了专线环境下的网元配置指导,帮您构建本地IDC和云上专有网络VPC之间可靠、安全和高速的私网通信环境。

网络架构

image

本地数据中心网络拓扑

典型的本地IDC网络拓扑如图所示,采用三层网络架构,IDC服务器与交换机构建二层局域网,多个二层局域网构建成一个三层网络域,从而形成一个私网网段为10.0.0.0/8IDC网络环境。

云端专有网络VPC拓扑

云上专有网络采用了虚拟化网络,计算实例(ECS、ECI等)直接与虚拟交换机连接,通过虚拟交换机进行通信,另外一些云服务采用了100.0.0.0/8网段,在云上VPC中通过虚拟交换机可以默认访问到这些云服务网段。

专线网络

阿里云在全国各个地域都有专线接入点,您可以根据就近原则选择接入点地址。从IDC核心交换机通过网络防火墙可接入到阿里云高速通道接入点的边界路由器,结合专线网关或云企业网可连接到阿里云专有网络VPC。

网元配置

本文示例假设IDC核心交换机及其子网已完成三层网络配置,并实现互通。

上行路由:从本地IDC访问云端VPC或云服务。

下行路由:从云端VPC访问本地IDC。

网络配置示例

  • 云端VPC网段:192.168.0.0/16

  • 本地IDC网段:10.0.0.0/8

  • 云服务、云产品私网网段:100.0.0.0/8

  • 边缘容器网段:172.16.0.0/12(ACK Edge集群选用Terway Edge插件时需要)

  • ACK Edge集群依赖的云产品 (以杭州地域为例):

    • OSS:[100.118.28.0/24,100.114.102.0/24,100.98.170.0/24,100.118.31.0/24]

    • ACR:[100.103.9.188/32,100.103.7.181/32]

    • ACK管控:域名cs-anony-vpc.cn-hangzhou.aliyuncs.com,建议在云端VPC解析获取,此处以100.103.42.233为例。

以下将根据上述网络配置示例介绍如何配置基础设施上的网元,如果您觉得云服务、云产品的网段100.0.0.0/8过大,您可以参考ACK Edge集群依赖的云服务地址,对100.0.0.0/8大网段进行替换,关于云服务、云产品地址请参见专线模式下的访问域名与对应路由网段。以下配置以100.0.0.0/8网段为例进行介绍。

IDC核心交换机

配置项

说明

注意事项

上行路由

配置访问云端VPC的网段以及访问云产品的网段,并通过专线网关指向高速通道的边界路由器VBR。

  • 云端VPC网段:192.168.0.0/16

  • 云服务网段:100.0.0.0/8

如果ACK Edge集群选用Terway Edge插件,您还需要在IDC核心交换机以及交换机上配置BGP,让网络插件将容器路由宣告给交换机以及核心交换机上,详见使用Terway Edge网络插件配置Terway Edge实现容器通信

下行路由

从阿里云高速通道的边界路由器VBR访问IDC服务器,本文默认核心交换机已完成服务器网络配置。

IDC网络防火墙

配置项

说明

注意事项

出方向

需要放行访问云端VPC的网段以及云服务的网段:

  • 云端VPC网段:192.168.0.0/16

  • 云服务网段:100.0.0.0/8

如需精细化配置,您还需要放行杭州地域的以下云服务网段:

  • OSS地址网段

  • ACR地址网段

  • ACK管控地址的TCP 44380端口,以及API ServerTCP 6443端口。

如果ACK Edge集群选用Flannel插件,您还需要在IDC网络防火墙的出方向和入方向上允许UDP 8472端口。

  • 源地址:云端VPC网段。

  • 目的地址:本地IDC的主机网段。

入方向

需要放行访问云端VPC的网段以及云服务的网段:

  • 云端VPC网段:192.168.0.0/16

  • 云服务网段:100.0.0.0/8

如需精细化配置,您还需要允许上述入方向的网段访问kubeletTCP 10250/10255端口,以及访问Node-ExporterTCP 9100/9445端口。

边界路由器VBR配置

配置项

说明

注意事项

上行路由

配置上行访问云端VPC的网段192.168.0.0/16以及访问云产品的网段100.0.0.0/8指向VPC。通过直连VPC、专线网关ECR或云企业网CEN等方法均可,具体方案参见阿里云高速通道

下行路由

配置访问IDC服务器的网段10.0.0.0/8,通过专线以及IDC网络防火墙指向核心交换机。

如果ACK Edge集群选用Terway Edge插件,您还需配置VBR的下行容器路由,即将边缘容器网段172.16.0.0/12配置到VBR下行路由中。

专线网关ECR或云企业网CEN

配置项

说明

注意事项

上行路由

配置ECRCEN的转发路由表上行访问云端VPC网段192.168.0.0/16以及云服务网段100.0.0.0/8指向VPC。

下行路由

配置ECRCEN的转发路由表下行访问IDC服务器网段10.0.0.0/8指向边界路由器VBR。

如果ACK Edge集群选用Terway Edge插件,您还需配置ECRCEN的下行容器路由,即将边缘容器网段172.16.0.0/12配置到ECRCEN的下行路由中。

VPC路由表

配置项

说明

注意事项

上行路由

云端VPC默认已完成网络配置,会在接收到IDC请求之后转发到目的地址。

下行路由

配置云端VPC路由表访问IDC服务器网段10.0.0.0/8指向云企业网CEN、专线网关ECR、边界路由器VBR。

如果ACK Edge集群选用Terway Edge插件,您还需配置VPC路由表的下行容器路由,即将边缘容器网段172.16.0.0/12配置到VPC路由表的下行路由中。

云上VPC安全组

配置项

说明

注意事项

出方向

需要允许访问IDC服务器网段10.0.0.0/8。如需精细化配置端口,还需要允许访问kubeletTCP10250/10255端口、访问node-exporterTCP 9100/9445端口等。

如果ACK Edge集群选用Flannel插件,您还需要在云上VPC安全组的出方向和入方向上允许UDP 8472端口。

  • 源地址:云端VPC网段。

  • 目的地址:本地IDC的主机网段。

入方向

需要允许IDC网段10.0.0.0/8的访问请求。如需精细化配置端口,还需要允许API ServerTCP 6443端口被访问。

边缘节点需要被访问的端口(入方向)

云端需要访问边缘节点时,边缘节点入方向需要暴露的端口如下。

协议

端口

源地址或源地址网段

注释

TCP

10250、10255

VPC网段

说明

可选,根据集群交换机网段精细化管理。

  • API Server发起访问节点的kubelet端口10250/10255的请求进行运维操作。

  • MetricsServer主动发起访问节点的kubelet端口10250/10255,以获取Metrics信息。

9100、9445

VPC网段

说明

可选,根据集群交换机网段精细化管理。

Prometheus主动发起访问节点的Node-Exporter端口9100/9445,以获取监控数据。

UDP

8472

VPC网段和节点地址或节点网段

说明

仅当集群采用Flannel插件需要配置。

Flannel VXLAN会占用节点UDP 8472端口构建VXLAN隧道。

边缘节点需要访问的域名和端口(出方向)

边缘节点在专线模式下需要放通的域名和端口,其中访问地址中的{region}表示集群所在地域的Region ID,例如杭州地域为cn-hangzhou。具体各地域所对应的Region ID,请参见开服地域

访问对象

专线模式访问域名

端口

说明

容器服务控制面

cs-anony-vpc.{region}.aliyuncs.com

  • TCP 443(集群版本 ≥ 1.26)

  • TCP 80(集群版本<1.26)

容器服务管控地址。

OSS安装包

aliacs-k8s-{region}.oss-{region}-internal.aliyuncs.com

  • TCP 443(集群版本 ≥ 1.26)

  • TCP 80443(集群版本<1.26)

OSS下载地址。可通过OSS下载edgeadm 、kubelet、CNI、runtime、edgehub等安装包。

API Server内网端点

通过集群基本信息页签查看。

TCP 6443

kube-apiserver 交互。

NTP

ntp1.aliyun.com cn.ntp.org.cn

NTP协议有关,一般是UDP 123端口。

时钟同步服务器地址。

接入时若选择配置selfHostNtpServer参数为true,即已手动完成时间同步,则不需要使用该地址。

系统组件镜像地址

  • dockerauth-vpc.{region}.aliyuncs.com

  • dockerauth-ee-vpc.{region}.aliyuncs.com (部分地域无此域名,可以跳过)

  • aliregistry-{region}.oss-{region}-internal.aliyuncs.com

  • registry-vpc.{region}.aliyuncs.com

    重要

    此处为ACR个人版实例地址,仅在如下Region的集群需要配置。

    展开查看哪些Region需要配置

    • cn-nanjing

    • me-east-1

    • cn-north-2-gov-1

    • cn-hangzhou-finance-1

    • cn-shanghai-mybk

    • cn-shenzhen-finance-1

    • cn-beijing-finance-1

    • cn-wuhan-lr

    • cn-heyuan-acdr-1

  • registry-{region}-vpc.ack.aliyuncs.com

TCP 443

系统组件镜像需要使用的地址。域名地址对应的具体IP网段,请参见专线模式下的访问域名与对应路由网段

系统工具

系统工具在线安装(无需额外域名)

net-tools、iproute、chrony(或者ntpdate)、crontabs、pciutils、socat、ebtables、iptables、conntrack-tools

不涉及

检测待添加节点是否已安装系统工具,如果没有,则会在线安装,具体的访问地址由节点yum/apt源配置决定。

  • 如果是Ubuntu系统,则采用apt-get安装。

  • 如果是CentOS系统,则采用yum安装。

专线模式下的访问域名与对应路由网段

云下机房设备通过内网访问ACK组件镜像地址,您可以通过CEN、高速通道、专线、VPN等连接VPC内网网络,并配置指向ACK组件镜像地址的路由。同时,由于镜像存储在OSS,您还需要配置OSS路由网段。专线模式下的访问域名与对应路由网段对照如下所示。

ACK组件内网镜像地址与路由网段对照表

公共云地域

Region

Region ID

VPC网络Endpoint

需要添加的路由网段

华东1(杭州)

cn-hangzhou

registry-cn-hangzhou-vpc.ack.aliyuncs.com

100.103.9.188/32

100.103.7.181/32

华东2(上海)

cn-shanghai

registry-cn-shanghai-vpc.ack.aliyuncs.com

100.103.94.158/32

100.103.7.57/32

100.100.80.231/32

华东 6(福州)

cn-fuzhou

registry-cn-fuzhou-vpc.ack.aliyuncs.com

100.100.0.43/32 100.100.0.28/32

华北1(青岛)

cn-qingdao

registry-cn-qingdao-vpc.ack.aliyuncs.com

100.100.0.172/32

100.100.0.207/32

华北2(北京)

cn-beijing

registry-cn-beijing-vpc.ack.aliyuncs.com

100.103.99.73/32

100.103.0.251/32

100.103.6.63/32

华北 3(张家口)

cn-zhangjiakou

registry-cn-zhangjiakou-vpc.ack.aliyuncs.com

100.100.1.179/32

100.100.80.152/32

华北5(呼和浩特)

cn-huhehaote

registry-cn-huhehaote-vpc.ack.aliyuncs.com

100.100.0.194/32

100.100.80.55/32

华北6(乌兰察布)

cn-wulanchabu

registry-cn-wulanchabu-vpc.ack.aliyuncs.com

100.100.0.122/32

100.100.0.58/32

华南1(深圳)

cn-shenzhen

registry-cn-shenzhen-vpc.ack.aliyuncs.com

100.103.96.139/32

100.103.6.153/32

100.103.26.52/32

华南2(河源)

cn-heyuan

registry-cn-heyuan-vpc.ack.aliyuncs.com

100.100.0.150/32

100.100.0.193/32

华南3(广州)

cn-guangzhou

registry-cn-guangzhou-vpc.ack.aliyuncs.com

100.100.0.101/32

100.100.0.21/32

西南1(成都)

cn-chengdu

registry-cn-chengdu-vpc.ack.aliyuncs.com

100.100.0.48/32

100.100.0.64/32

郑州(联通合营)

cn-zhengzhou-jva

registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com

100.100.0.111/32 100.100.0.84/32

中国(香港)

cn-hongkong

registry-cn-hongkong-vpc.ack.aliyuncs.com

100.103.85.19/32

100.100.80.157/32

美国(硅谷)

us-west-1

registry-us-west-1-vpc.ack.aliyuncs.com

100.103.13.55/32

100.100.80.93/32

美国(弗吉尼亚)

us-east-1

registry-us-east-1-vpc.ack.aliyuncs.com

100.103.12.19/32

100.100.80.11/32

日本(东京)

ap-northeast-1

registry-ap-northeast-1-vpc.ack.aliyuncs.com

100.100.0.167/32

100.100.80.198/32

韩国(首尔)

ap-northeast-2

registry-ap-northeast-2-vpc.ack.aliyuncs.com

100.100.0.71/32

100.100.0.33/32

新加坡

ap-southeast-1

registry-ap-southeast-1-vpc.ack.aliyuncs.com

100.103.103.254/32

100.100.80.136/32

马来西亚(吉隆坡)

ap-southeast-3

registry-ap-southeast-3-vpc.ack.aliyuncs.com

100.100.0.17/32

100.100.80.137/32

印度尼西亚(雅加达)

ap-southeast-5

registry-ap-southeast-5-vpc.ack.aliyuncs.com

100.100.0.226/32

100.100.80.200/32

菲律宾(马尼拉)

ap-southeast-6

registry-ap-southeast-6-vpc.ack.aliyuncs.com

100.100.0.75/32

100.100.0.24/32

泰国(曼谷)

ap-southeast-7

registry-ap-southeast-7-vpc.ack.aliyuncs.com

100.100.0.62/32

100.100.0.34/32

德国(法兰克福)

eu-central-1

registry-eu-central-1-vpc.ack.aliyuncs.com

100.100.0.92/32

100.100.80.155/32

英国(伦敦)

eu-west-1

registry-eu-west-1-vpc.ack.aliyuncs.com

100.100.0.175/32

100.100.0.18/32

利雅得

me-central-1

registry-me-central-1-vpc.ack.aliyuncs.com

100.100.0.109/32 100.100.0.18/32

金融云地域

Region

Region ID

VPC网络Endpoint

需要添加的路由网段

华东2 金融云

cn-shanghai-finance-1

registry-cn-shanghai-finance-1-vpc.ack.aliyuncs.com

100.100.0.54/32 100.100.80.227/32

OSS内网域名与VIP网段对照表

公共云地域

地域

地域ID

OSS专用地域ID

VPC网络Endpoint

VIP网段

华东1(杭州)

cn-hangzhou

oss-cn-hangzhou

oss-cn-hangzhou-internal.aliyuncs.com

  • 100.118.28.0/24

  • 100.114.102.0/24

  • 100.98.170.0/24

  • 100.118.31.0/24

华东2(上海)

cn-shanghai

oss-cn-shanghai

oss-cn-shanghai-internal.aliyuncs.com

  • 100.98.35.0/24

  • 100.98.110.0/24

  • 100.98.169.0/24

  • 100.118.102.0/24

华东5(南京-本地地域-关停中)

cn-nanjing

oss-cn-nanjing

oss-cn-nanjing-internal.aliyuncs.com

100.114.142.0/24

华东6(福州-本地地域-关停中)

cn-fuzhou

oss-cn-fuzhou

oss-cn-fuzhou-internal.aliyuncs.com

100.115.21.0/24 

华中1(武汉-本地地域)

cn-wuhan-lr

oss-cn-wuhan-lr

oss-cn-wuhan-lr-internal.aliyuncs.com

100.115.89.0/24

华北1(青岛)

cn-qingdao

oss-cn-qingdao

oss-cn-qingdao-internal.aliyuncs.com

  • 100.115.173.0/24

  • 100.99.113.0/24

  • 100.99.114.0/24

  • 100.99.115.0/24

华北2(北京)

cn-beijing

oss-cn-beijing

oss-cn-beijing-internal.aliyuncs.com

  • 100.118.58.0/24

  • 100.118.167.0/24

  • 100.118.170.0/24

  • 100.118.171.0/24

  • 100.118.172.0/24

  • 100.118.173.0/24

华北 3(张家口)

cn-zhangjiakou

oss-cn-zhangjiakou

oss-cn-zhangjiakou-internal.aliyuncs.com

  • 100.118.90.0/24

  • 100.98.159.0/24

  • 100.114.0.0/24

  • 100.114.1.0/24

华北5(呼和浩特)

cn-huhehaote

oss-cn-huhehaote

oss-cn-huhehaote-internal.aliyuncs.com

  • 100.118.195.0/24

  • 100.99.110.0/24

  • 100.99.111.0/24

  • 100.99.112.0/24

华北6(乌兰察布)

cn-wulanchabu

oss-cn-wulanchabu

oss-cn-wulanchabu-internal.aliyuncs.com

  • 100.114.11.0/24

  • 100.114.12.0/24

  • 100.114.100.0/24

  • 100.118.214.0/24

华南1(深圳)

cn-shenzhen

oss-cn-shenzhen

oss-cn-shenzhen-internal.aliyuncs.com

  • 100.118.78.0/24

  • 100.118.203.0/24

  • 100.118.204.0/24

  • 100.118.217.0/24

华南2(河源)

cn-heyuan

oss-cn-heyuan

oss-cn-heyuan-internal.aliyuncs.com

  • 100.98.83.0/24

  • 100.118.174.0/24

华南3(广州)

cn-guangzhou

oss-cn-guangzhou

oss-cn-guangzhou-internal.aliyuncs.com

  • 100.115.33.0/24

  • 100.114.101.0/24

西南1(成都)

cn-chengdu

oss-cn-chengdu

oss-cn-chengdu-internal.aliyuncs.com

  • 100.115.155.0/24

  • 100.99.107.0/24

  • 100.99.108.0/24

  • 100.99.109.0/24

中国香港

cn-hongkong

oss-cn-hongkong

oss-cn-hongkong-internal.aliyuncs.com

  • 100.115.61.0/24

  • 100.99.103.0/24

  • 100.99.104.0/24

  • 100.99.106.0/24

美国(硅谷)*

us-west-1

oss-us-west-1

oss-us-west-1-internal.aliyuncs.com

100.115.107.0/24

美国(弗吉尼亚)*

us-east-1

oss-us-east-1

oss-us-east-1-internal.aliyuncs.com

  • 100.115.60.0/24

  • 100.99.100.0/24

  • 100.99.101.0/24

  • 100.99.102.0/24

日本(东京)*

ap-northeast-1

oss-ap-northeast-1

oss-ap-northeast-1-internal.aliyuncs.com

  • 100.114.211.0/24

  • 100.114.114.0/25

韩国(首尔)

ap-northeast-2

oss-ap-northeast-2

oss-ap-northeast-2-internal.aliyuncs.com

100.99.119.0/24

新加坡*

ap-southeast-1

oss-ap-southeast-1

oss-ap-southeast-1-internal.aliyuncs.com

  • 100.118.219.0/24

  • 100.99.213.0/24

  • 100.99.116.0/24

  • 100.99.117.0/24

马来西亚(吉隆坡)*

ap-southeast-3

oss-ap-southeast-3

oss-ap-southeast-3-internal.aliyuncs.com

  • 100.118.165.0/24

  • 100.99.125.0/24

  • 100.99.130.0/24

  • 100.99.131.0/24

印度尼西亚(雅加达)*

ap-southeast-5

oss-ap-southeast-5

oss-ap-southeast-5-internal.aliyuncs.com

100.114.98.0/24

菲律宾(马尼拉)

ap-southeast-6

oss-ap-southeast-6

oss-ap-southeast-6-internal.aliyuncs.com

100.115.16.0/24

泰国(曼谷)

ap-southeast-7

oss-ap-southeast-7

oss-ap-southeast-7-internal.aliyuncs.com

100.98.249.0/24

德国(法兰克福)*

eu-central-1

oss-eu-central-1

oss-eu-central-1-internal.aliyuncs.com

100.115.154.0/24

英国(伦敦)

eu-west-1

oss-eu-west-1

oss-eu-west-1-internal.aliyuncs.com

100.114.114.128/25

阿联酋(迪拜)*

me-east-1

oss-me-east-1

oss-me-east-1-internal.aliyuncs.com

100.99.235.0/24

金融云地域

地域

地域ID

OSS专用地域ID

VPC网络Endpoint

VIP网段

华东1金融云

cn-hangzhou-finance

oss-cn-hzjbp

  • oss-cn-hzjbp-a-internal.aliyuncs.com

  • oss-cn-hzjbp-b-internal.aliyuncs.com

  • 100.103.4.210/32

  • 100.115.6.0/24

华东2金融云

cn-shanghai-finance-1

oss-cn-shanghai-finance-1

oss-cn-shanghai-finance-1-internal.aliyuncs.com

  • 100.115.105.0/24

  • 100.100.36.8/32

华北2 金融云(邀测)

cn-beijing-finance-1

oss-cn-beijing-finance-1

oss-cn-beijing-finance-1-internal.aliyuncs.com

100.112.52.0/24

华南1金融云

cn-shenzhen-finance-1

oss-cn-shenzhen-finance-1

oss-cn-shenzhen-finance-1-internal.aliyuncs.com

100.112.15.0/24

杭州金融云公网

cn-hangzhou-finance

oss-cn-hzfinance

oss-cn-hzfinance-internal.aliyuncs.com

  • 100.103.4.95/32

  • 100.103.5.142/32

  • 100.103.5.143/32

  • 100.103.5.144/32

  • 100.115.6.0/24

上海金融云公网

cn-shanghai-finance-1

oss-cn-shanghai-finance-1-pub

oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com

  • 100.100.36.24/32

  • 100.100.36.8/32

深圳金融云公网

cn-shenzhen-finance-1

oss-cn-szfinance

oss-cn-szfinance-internal.aliyuncs.com

  • 100.112.15.0/24

  • 100.100.80.70/32

北京金融云公网

cn-beijing-finance-1

oss-cn-beijing-finance-1-pub

oss-cn-beijing-finance-1-pub-internal.aliyuncs.com

100.112.52.0/24