ACK Edge集群支持将本地数据中心IDC服务器设备通过专线形式接入进行容器化管理。当通过专线接入集群时,您需要在接入前完成基础设施的网元配置。本文提供了专线环境下的网元配置指导,帮您构建本地IDC和云上专有网络VPC之间可靠、安全和高速的私网通信环境。
网络架构
本地数据中心网络拓扑
典型的本地IDC网络拓扑如图所示,采用三层网络架构,IDC服务器与交换机构建二层局域网,多个二层局域网构建成一个三层网络域,从而形成一个私网网段为10.0.0.0/8的IDC网络环境。
云端专有网络VPC拓扑
云上专有网络采用了虚拟化网络,计算实例(ECS、ECI等)直接与虚拟交换机连接,通过虚拟交换机进行通信,另外一些云服务采用了100.0.0.0/8网段,在云上VPC中通过虚拟交换机可以默认访问到这些云服务网段。
专线网络
阿里云在全国各个地域都有专线接入点,您可以根据就近原则选择接入点地址。从IDC核心交换机通过网络防火墙可接入到阿里云高速通道接入点的边界路由器,结合专线网关或云企业网可连接到阿里云专有网络VPC。
网元配置
本文示例假设IDC核心交换机及其子网已完成三层网络配置,并实现互通。
上行路由:从本地IDC访问云端VPC或云服务。
下行路由:从云端VPC访问本地IDC。
网络配置示例
云端VPC网段:192.168.0.0/16
本地IDC网段:10.0.0.0/8
云服务、云产品私网网段:100.0.0.0/8
边缘容器网段:172.16.0.0/12(ACK Edge集群选用Terway Edge插件时需要)
ACK Edge集群依赖的云产品 (以杭州地域为例):
OSS:[100.118.28.0/24,100.114.102.0/24,100.98.170.0/24,100.118.31.0/24]
ACR:[100.103.9.188/32,100.103.7.181/32]
ACK管控:域名cs-anony-vpc.cn-hangzhou.aliyuncs.com,建议在云端VPC解析获取,此处以100.103.42.233为例。
以下将根据上述网络配置示例介绍如何配置基础设施上的网元,如果您觉得云服务、云产品的网段100.0.0.0/8过大,您可以参考ACK Edge集群依赖的云服务地址,对100.0.0.0/8大网段进行替换,关于云服务、云产品地址请参见专线模式下的访问域名与对应路由网段。以下配置以100.0.0.0/8网段为例进行介绍。
IDC核心交换机
配置项 | 说明 | 注意事项 |
上行路由 | 配置访问云端VPC的网段以及访问云产品的网段,并通过专线网关指向高速通道的边界路由器VBR。
| 如果ACK Edge集群选用Terway Edge插件,您还需要在IDC核心交换机以及交换机上配置BGP,让网络插件将容器路由宣告给交换机以及核心交换机上,详见使用Terway Edge网络插件、配置Terway Edge实现容器通信。 |
下行路由 | 从阿里云高速通道的边界路由器VBR访问IDC服务器,本文默认核心交换机已完成服务器网络配置。 |
IDC网络防火墙
配置项 | 说明 | 注意事项 |
出方向 | 需要放行访问云端VPC的网段以及云服务的网段:
如需精细化配置,您还需要放行杭州地域的以下云服务网段:
| 如果ACK Edge集群选用Flannel插件,您还需要在IDC网络防火墙的出方向和入方向上允许UDP 8472端口。
|
入方向 | 需要放行访问云端VPC的网段以及云服务的网段:
如需精细化配置,您还需要允许上述入方向的网段访问kubelet的TCP 10250/10255端口,以及访问Node-Exporter的TCP 9100/9445端口。 |
边界路由器VBR配置
配置项 | 说明 | 注意事项 |
上行路由 | 配置上行访问云端VPC的网段192.168.0.0/16以及访问云产品的网段100.0.0.0/8指向VPC。通过直连VPC、专线网关ECR或云企业网CEN等方法均可,具体方案参见阿里云高速通道。 | 无 |
下行路由 | 配置访问IDC服务器的网段10.0.0.0/8,通过专线以及IDC网络防火墙指向核心交换机。 | 如果ACK Edge集群选用Terway Edge插件,您还需配置VBR的下行容器路由,即将边缘容器网段172.16.0.0/12配置到VBR下行路由中。 |
专线网关ECR或云企业网CEN
配置项 | 说明 | 注意事项 |
上行路由 | 配置ECR或CEN的转发路由表上行访问云端VPC网段192.168.0.0/16以及云服务网段100.0.0.0/8指向VPC。 | 无 |
下行路由 | 配置ECR或CEN的转发路由表下行访问IDC服务器网段10.0.0.0/8指向边界路由器VBR。 | 如果ACK Edge集群选用Terway Edge插件,您还需配置ECR或CEN的下行容器路由,即将边缘容器网段172.16.0.0/12配置到ECR或CEN的下行路由中。 |
VPC路由表
配置项 | 说明 | 注意事项 |
上行路由 | 云端VPC默认已完成网络配置,会在接收到IDC请求之后转发到目的地址。 | 无 |
下行路由 | 配置云端VPC路由表访问IDC服务器网段10.0.0.0/8指向云企业网CEN、专线网关ECR、边界路由器VBR。 | 如果ACK Edge集群选用Terway Edge插件,您还需配置VPC路由表的下行容器路由,即将边缘容器网段172.16.0.0/12配置到VPC路由表的下行路由中。 |
云上VPC安全组
配置项 | 说明 | 注意事项 |
出方向 | 需要允许访问IDC服务器网段10.0.0.0/8。如需精细化配置端口,还需要允许访问kubelet的TCP10250/10255端口、访问node-exporter的TCP 9100/9445端口等。 | 如果ACK Edge集群选用Flannel插件,您还需要在云上VPC安全组的出方向和入方向上允许UDP 8472端口。
|
入方向 | 需要允许IDC网段10.0.0.0/8的访问请求。如需精细化配置端口,还需要允许API Server的TCP 6443端口被访问。 |
边缘节点需要被访问的端口(入方向)
云端需要访问边缘节点时,边缘节点入方向需要暴露的端口如下。
协议 | 端口 | 源地址或源地址网段 | 注释 |
TCP | 10250、10255 | VPC网段 说明 可选,根据集群交换机网段精细化管理。 |
|
9100、9445 | VPC网段 说明 可选,根据集群交换机网段精细化管理。 | Prometheus主动发起访问节点的Node-Exporter端口9100/9445,以获取监控数据。 | |
UDP | 8472 | VPC网段和节点地址或节点网段 说明 仅当集群采用Flannel插件需要配置。 | Flannel VXLAN会占用节点UDP 8472端口构建VXLAN隧道。 |
边缘节点需要访问的域名和端口(出方向)
边缘节点在专线模式下需要放通的域名和端口,其中访问地址中的{region}
表示集群所在地域的Region ID,例如杭州地域为cn-hangzhou
。具体各地域所对应的Region ID,请参见开服地域。
访问对象 | 专线模式访问域名 | 端口 | 说明 |
容器服务控制面 | cs-anony-vpc.{region}.aliyuncs.com |
| 容器服务管控地址。 |
OSS安装包 | aliacs-k8s-{region}.oss-{region}-internal.aliyuncs.com |
| OSS下载地址。可通过OSS下载edgeadm 、kubelet、CNI、runtime、edgehub等安装包。 |
API Server内网端点 | 通过集群基本信息页签查看。 | TCP 6443 | 与kube-apiserver 交互。 |
NTP | ntp1.aliyun.com cn.ntp.org.cn | 与NTP协议有关,一般是UDP 123端口。 | 时钟同步服务器地址。 接入时若选择配置 |
系统组件镜像地址 |
| TCP 443 | 系统组件镜像需要使用的地址。域名地址对应的具体IP网段,请参见专线模式下的访问域名与对应路由网段。 |
系统工具 | 系统工具在线安装(无需额外域名) net-tools、iproute、chrony(或者ntpdate)、crontabs、pciutils、socat、ebtables、iptables、conntrack-tools | 不涉及 | 检测待添加节点是否已安装系统工具,如果没有,则会在线安装,具体的访问地址由节点yum/apt源配置决定。
|
专线模式下的访问域名与对应路由网段
云下机房设备通过内网访问ACK组件镜像地址,您可以通过CEN、高速通道、专线、VPN等连接VPC内网网络,并配置指向ACK组件镜像地址的路由。同时,由于镜像存储在OSS,您还需要配置OSS路由网段。专线模式下的访问域名与对应路由网段对照如下所示。
ACK组件内网镜像地址与路由网段对照表
公共云地域
Region | Region ID | VPC网络Endpoint | 需要添加的路由网段 |
华东1(杭州) | cn-hangzhou | registry-cn-hangzhou-vpc.ack.aliyuncs.com | 100.103.9.188/32 100.103.7.181/32 |
华东2(上海) | cn-shanghai | registry-cn-shanghai-vpc.ack.aliyuncs.com | 100.103.94.158/32 100.103.7.57/32 100.100.80.231/32 |
华东 6(福州) | cn-fuzhou | registry-cn-fuzhou-vpc.ack.aliyuncs.com | 100.100.0.43/32 100.100.0.28/32 |
华北1(青岛) | cn-qingdao | registry-cn-qingdao-vpc.ack.aliyuncs.com | 100.100.0.172/32 100.100.0.207/32 |
华北2(北京) | cn-beijing | registry-cn-beijing-vpc.ack.aliyuncs.com | 100.103.99.73/32 100.103.0.251/32 100.103.6.63/32 |
华北 3(张家口) | cn-zhangjiakou | registry-cn-zhangjiakou-vpc.ack.aliyuncs.com | 100.100.1.179/32 100.100.80.152/32 |
华北5(呼和浩特) | cn-huhehaote | registry-cn-huhehaote-vpc.ack.aliyuncs.com | 100.100.0.194/32 100.100.80.55/32 |
华北6(乌兰察布) | cn-wulanchabu | registry-cn-wulanchabu-vpc.ack.aliyuncs.com | 100.100.0.122/32 100.100.0.58/32 |
华南1(深圳) | cn-shenzhen | registry-cn-shenzhen-vpc.ack.aliyuncs.com | 100.103.96.139/32 100.103.6.153/32 100.103.26.52/32 |
华南2(河源) | cn-heyuan | registry-cn-heyuan-vpc.ack.aliyuncs.com | 100.100.0.150/32 100.100.0.193/32 |
华南3(广州) | cn-guangzhou | registry-cn-guangzhou-vpc.ack.aliyuncs.com | 100.100.0.101/32 100.100.0.21/32 |
西南1(成都) | cn-chengdu | registry-cn-chengdu-vpc.ack.aliyuncs.com | 100.100.0.48/32 100.100.0.64/32 |
郑州(联通合营) | cn-zhengzhou-jva | registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com | 100.100.0.111/32 100.100.0.84/32 |
中国(香港) | cn-hongkong | registry-cn-hongkong-vpc.ack.aliyuncs.com | 100.103.85.19/32 100.100.80.157/32 |
美国(硅谷) | us-west-1 | registry-us-west-1-vpc.ack.aliyuncs.com | 100.103.13.55/32 100.100.80.93/32 |
美国(弗吉尼亚) | us-east-1 | registry-us-east-1-vpc.ack.aliyuncs.com | 100.103.12.19/32 100.100.80.11/32 |
日本(东京) | ap-northeast-1 | registry-ap-northeast-1-vpc.ack.aliyuncs.com | 100.100.0.167/32 100.100.80.198/32 |
韩国(首尔) | ap-northeast-2 | registry-ap-northeast-2-vpc.ack.aliyuncs.com | 100.100.0.71/32 100.100.0.33/32 |
新加坡 | ap-southeast-1 | registry-ap-southeast-1-vpc.ack.aliyuncs.com | 100.103.103.254/32 100.100.80.136/32 |
马来西亚(吉隆坡) | ap-southeast-3 | registry-ap-southeast-3-vpc.ack.aliyuncs.com | 100.100.0.17/32 100.100.80.137/32 |
印度尼西亚(雅加达) | ap-southeast-5 | registry-ap-southeast-5-vpc.ack.aliyuncs.com | 100.100.0.226/32 100.100.80.200/32 |
菲律宾(马尼拉) | ap-southeast-6 | registry-ap-southeast-6-vpc.ack.aliyuncs.com | 100.100.0.75/32 100.100.0.24/32 |
泰国(曼谷) | ap-southeast-7 | registry-ap-southeast-7-vpc.ack.aliyuncs.com | 100.100.0.62/32 100.100.0.34/32 |
德国(法兰克福) | eu-central-1 | registry-eu-central-1-vpc.ack.aliyuncs.com | 100.100.0.92/32 100.100.80.155/32 |
英国(伦敦) | eu-west-1 | registry-eu-west-1-vpc.ack.aliyuncs.com | 100.100.0.175/32 100.100.0.18/32 |
利雅得 | me-central-1 | registry-me-central-1-vpc.ack.aliyuncs.com | 100.100.0.109/32 100.100.0.18/32 |
金融云地域
Region | Region ID | VPC网络Endpoint | 需要添加的路由网段 |
华东2 金融云 | cn-shanghai-finance-1 | registry-cn-shanghai-finance-1-vpc.ack.aliyuncs.com | 100.100.0.54/32 100.100.80.227/32 |
OSS内网域名与VIP网段对照表
公共云地域
地域 | 地域ID | OSS专用地域ID | VPC网络Endpoint | VIP网段 |
华东1(杭州) | cn-hangzhou | oss-cn-hangzhou | oss-cn-hangzhou-internal.aliyuncs.com |
|
华东2(上海) | cn-shanghai | oss-cn-shanghai | oss-cn-shanghai-internal.aliyuncs.com |
|
华东5(南京-本地地域-关停中) | cn-nanjing | oss-cn-nanjing | oss-cn-nanjing-internal.aliyuncs.com | 100.114.142.0/24 |
华东6(福州-本地地域-关停中) | cn-fuzhou | oss-cn-fuzhou | oss-cn-fuzhou-internal.aliyuncs.com | 100.115.21.0/24 |
华中1(武汉-本地地域) | cn-wuhan-lr | oss-cn-wuhan-lr | oss-cn-wuhan-lr-internal.aliyuncs.com | 100.115.89.0/24 |
华北1(青岛) | cn-qingdao | oss-cn-qingdao | oss-cn-qingdao-internal.aliyuncs.com |
|
华北2(北京) | cn-beijing | oss-cn-beijing | oss-cn-beijing-internal.aliyuncs.com |
|
华北 3(张家口) | cn-zhangjiakou | oss-cn-zhangjiakou | oss-cn-zhangjiakou-internal.aliyuncs.com |
|
华北5(呼和浩特) | cn-huhehaote | oss-cn-huhehaote | oss-cn-huhehaote-internal.aliyuncs.com |
|
华北6(乌兰察布) | cn-wulanchabu | oss-cn-wulanchabu | oss-cn-wulanchabu-internal.aliyuncs.com |
|
华南1(深圳) | cn-shenzhen | oss-cn-shenzhen | oss-cn-shenzhen-internal.aliyuncs.com |
|
华南2(河源) | cn-heyuan | oss-cn-heyuan | oss-cn-heyuan-internal.aliyuncs.com |
|
华南3(广州) | cn-guangzhou | oss-cn-guangzhou | oss-cn-guangzhou-internal.aliyuncs.com |
|
西南1(成都) | cn-chengdu | oss-cn-chengdu | oss-cn-chengdu-internal.aliyuncs.com |
|
中国香港 | cn-hongkong | oss-cn-hongkong | oss-cn-hongkong-internal.aliyuncs.com |
|
美国(硅谷)* | us-west-1 | oss-us-west-1 | oss-us-west-1-internal.aliyuncs.com | 100.115.107.0/24 |
美国(弗吉尼亚)* | us-east-1 | oss-us-east-1 | oss-us-east-1-internal.aliyuncs.com |
|
日本(东京)* | ap-northeast-1 | oss-ap-northeast-1 | oss-ap-northeast-1-internal.aliyuncs.com |
|
韩国(首尔) | ap-northeast-2 | oss-ap-northeast-2 | oss-ap-northeast-2-internal.aliyuncs.com | 100.99.119.0/24 |
新加坡* | ap-southeast-1 | oss-ap-southeast-1 | oss-ap-southeast-1-internal.aliyuncs.com |
|
马来西亚(吉隆坡)* | ap-southeast-3 | oss-ap-southeast-3 | oss-ap-southeast-3-internal.aliyuncs.com |
|
印度尼西亚(雅加达)* | ap-southeast-5 | oss-ap-southeast-5 | oss-ap-southeast-5-internal.aliyuncs.com | 100.114.98.0/24 |
菲律宾(马尼拉) | ap-southeast-6 | oss-ap-southeast-6 | oss-ap-southeast-6-internal.aliyuncs.com | 100.115.16.0/24 |
泰国(曼谷) | ap-southeast-7 | oss-ap-southeast-7 | oss-ap-southeast-7-internal.aliyuncs.com | 100.98.249.0/24 |
德国(法兰克福)* | eu-central-1 | oss-eu-central-1 | oss-eu-central-1-internal.aliyuncs.com | 100.115.154.0/24 |
英国(伦敦) | eu-west-1 | oss-eu-west-1 | oss-eu-west-1-internal.aliyuncs.com | 100.114.114.128/25 |
阿联酋(迪拜)* | me-east-1 | oss-me-east-1 | oss-me-east-1-internal.aliyuncs.com | 100.99.235.0/24 |
金融云地域
地域 | 地域ID | OSS专用地域ID | VPC网络Endpoint | VIP网段 |
华东1金融云 | cn-hangzhou-finance | oss-cn-hzjbp |
|
|
华东2金融云 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-internal.aliyuncs.com |
|
华北2 金融云(邀测) | cn-beijing-finance-1 | oss-cn-beijing-finance-1 | oss-cn-beijing-finance-1-internal.aliyuncs.com | 100.112.52.0/24 |
华南1金融云 | cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1-internal.aliyuncs.com | 100.112.15.0/24 |
杭州金融云公网 | cn-hangzhou-finance | oss-cn-hzfinance | oss-cn-hzfinance-internal.aliyuncs.com |
|
上海金融云公网 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-pub | oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com |
|
深圳金融云公网 | cn-shenzhen-finance-1 | oss-cn-szfinance | oss-cn-szfinance-internal.aliyuncs.com |
|
北京金融云公网 | cn-beijing-finance-1 | oss-cn-beijing-finance-1-pub | oss-cn-beijing-finance-1-pub-internal.aliyuncs.com | 100.112.52.0/24 |