混合云节点池场景的网元配置

更新时间:
复制为 MD 格式

混合云节点池支持将本地IDC服务器通过专线形式接入,进行容器化管理。当通过专线接入集群时,请在接入前完成基础设施的网元配置。本文介绍了使用混合云节点池时,在本地IDC和云上需要进行的网络配置。

网络架构

  • 本地数据中心:典型的本地IDC网络拓扑如图所示,采用三层网络架构,IDC服务器与交换机构建二层局域网,多个二层局域网构建成一个三层网络域,从而形成一个私网网段为10.0.0.0/8IDC网络环境。

  • 云端专有网络:云上专有网络采用了虚拟化网络,计算实例(ECS、ECI等)直接与虚拟交换机连接,通过虚拟交换机进行通信,另外一些云服务采用了100.0.0.0/8网段,在云上VPC中通过虚拟交换机可以默认访问到这些云服务网段。

  • 专线:阿里云在全国各个地域都有专线接入点,推荐根据就近原则选择接入点地址。从IDC核心交换机通过网络防火墙可接入到阿里云高速通道接入点的边界路由器,结合专线网关或云企业网可连接到阿里云专有网络VPC。

image

配置示例

下方的IDC网络配置云上网络配置示例中展示了配置一个混合云节点时,需要为IDC及云上各个网络模块进行的配置操作。

示例仅为展示配置思路,请结合实际情况使用。

示例中使用的配置情况为:

  • IDC核心交换机及其子网已完成三层网络配置。

  • 集群位于杭州(cn-hangzhou)地域。

  • 云端VPC网段:192.168.0.0/16

  • 本地IDC网段:10.0.0.0/8

  • 阿里云云服务、云产品私网网段:100.0.0.0/8

  • 混合云节点容器网段:172.16.0.0/12

IDC网络配置

重要

为确保集群混合云节点正常工作,IDC网络需要访问下列阿里云服务:

  • 对象存储OSS

  • 容器镜像服务ACR

  • 云助手

  • PrivateZone

请配置网络访问策略,放行阿里云云服务网段100.0.0.0/8。如果无法使用完整的100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。

IDC核心交换机

配置项

说明

注意事项

上行路由(IDC访问云端)

将云端VPC网段和云产品网段指向高速通道的边界路由器VBR。

  • 云端VPC网段:192.168.0.0/16

  • 阿里云云服务网段:100.0.0.0/8

如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。

如果使用Terway Hybrid插件的Underlay模式,还需要在IDC核心交换机以及交换机上配置BGP,让网络插件将容器路由宣告给交换机,详见使用Terway Hybrid网络插件

下行路由(云端访问IDC)

从阿里云高速通道的边界路由器VBR访问IDC服务器,本文默认核心交换机已完成服务器网络配置。

IDC网络防火墙

配置项

说明

出方向(IDC访问云端)

请放行访问云端VPC的网段以及云服务的网段:

  • 云端VPC网段:192.168.0.0/16

  • 阿里云云服务网段:100.0.0.0/8

如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。

入方向(云端访问IDC)

需要放行访问云端VPC的网段以及云服务的网段:

  • 云端VPC网段:192.168.0.0/16

  • 云服务网段:100.0.0.0/8

请允许上述入方向的网段访问kubeletTCP 10250/10255端口,以及Node-ExporterTCP 9100/9445端口。

混合云节点入方向(节点被访问的端口)

云端需要访问混合云节点时,混合云节点入方向需要暴露的端口如下:

协议

端口

源地址或源地址网段

注释

TCP

10250、10255

VPC网段

  • API Server发起访问节点的kubelet端口10250/10255的请求进行运维操作。

  • MetricsServer主动发起访问节点的kubelet端口10250/10255,以获取Metrics信息。

9100、9445

VPC网段

Prometheus主动发起访问节点的Node-Exporter端口9100/9445,以获取监控数据。

混合云节点出方向(节点需要访问的域名和端口)

混合云节点在专线模式下需要放通的域名和端口,其中访问地址中的{region}表示集群所在地域的ID,例如杭州地域为cn-hangzhou。其他地域的ID,请参见云产品网段对照表

访问对象

专线模式访问域名

端口

说明

节点组件OSS下载地址

aliacs-k8s-{region}.oss-{region}-internal.aliyuncs.com

TCP 443

可通过OSS下载kubelet、CNI、runtime、auton-hub等节点组件安装包。

API Server内网端点

通过集群基本信息页签查看。

TCP 6443

用于与kube-apiserver交互。

系统组件镜像地址

  • dockerauth-vpc.{region}.aliyuncs.com

  • dockerauth-ee-vpc.{region}.aliyuncs.com

    部分地域无此域名,可以不配置。
  • registry-{region}-vpc.ack.aliyuncs.com

TCP 443

系统组件镜像需要使用的地址。

云助手

  • {region-id}.axt.aliyun.com

  • aliyun-client-assist-{region-id}.oss-{region-id}-internal.aliyuncs.com

TCP 443

云助手服务及安装包地址。

云上网络配置示例

边界路由器VBR

配置项

说明

注意事项

上行路由(IDC访问云端)

将云端VPC的网段和云产品的网段指向VPC。通过直连VPC、专线网关ECR或云企业网CEN等方法均可,具体方案参见什么是高速通道

  • 云端VPC网段:192.168.0.0/16

  • 阿里云云服务网段:100.0.0.0/8

如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。

下行路由(云端访问IDC)

IDC服务器的网段10.0.0.0/8,通过专线以及IDC网络防火墙指向IDC核心交换机。

如果选用Terway Hybrid插件的Underlay模式,还需配置VBR的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到VBR下行路由中。

专线网关ECR或云企业网CEN

配置项

说明

注意事项

上行路由(IDC访问云端)

配置ECRCEN的转发路由表,将云端VPC的网段和云产品的网段指向VPC。

  • 云端VPC网段:192.168.0.0/16

  • 阿里云云服务网段:100.0.0.0/8

如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。

下行路由(云端访问IDC)

配置ECRCEN的转发路由表,将IDC服务器网段10.0.0.0/8指向边界路由器VBR。

如果选用Terway Hybrid插件的Underlay模式,还需配置ECRCEN的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到ECRCEN的下行路由中。

云上VPC路由表

配置项

说明

注意事项

上行路由(IDC访问云端)

云端VPC默认已完成网络配置,会在接收到IDC请求之后转发到目的地址。

下行路由(云端访问IDC)

配置云端VPC路由表,将IDC服务器网段10.0.0.0/8指向云企业网CEN或专线网关ECR。

如果选用Terway Hybrid插件的Underlay模式,还需配置VPC路由表的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到VPC路由表的下行路由中。

云上VPC安全组

配置项

说明

出方向(云端访问IDC)

需要放行IDC服务器网段10.0.0.0/8。

请放行kubeletTCP10250/10255端口、node-exporterTCP 9100/9445端口等。

入方向(IDC访问云端)

需要允许IDC网段10.0.0.0/8的访问请求。

请放行API ServerTCP 6443端口。

云产品网段对照表

ACK组件内网镜像地址与网段

Region

Region ID

VPC网络Endpoint

需要添加的路由网段

华东1(杭州)

cn-hangzhou

registry-cn-hangzhou-vpc.ack.aliyuncs.com

100.103.9.188/32

100.103.7.181/32

华东2(上海)

cn-shanghai

registry-cn-shanghai-vpc.ack.aliyuncs.com

100.103.94.158/32

100.103.7.57/32

100.100.80.231/32

华东6(福州-本地地域-关停中)

cn-fuzhou

registry-cn-fuzhou-vpc.ack.aliyuncs.com

100.100.0.43/32 100.100.0.28/32

华北1(青岛)

cn-qingdao

registry-cn-qingdao-vpc.ack.aliyuncs.com

100.100.0.172/32

100.100.0.207/32

华北2(北京)

cn-beijing

registry-cn-beijing-vpc.ack.aliyuncs.com

100.103.99.73/32

100.103.0.251/32

100.103.6.63/32

华北 3(张家口)

cn-zhangjiakou

registry-cn-zhangjiakou-vpc.ack.aliyuncs.com

100.100.1.179/32

100.100.80.152/32

华北5(呼和浩特)

cn-huhehaote

registry-cn-huhehaote-vpc.ack.aliyuncs.com

100.100.0.194/32

100.100.80.55/32

华北6(乌兰察布)

cn-wulanchabu

registry-cn-wulanchabu-vpc.ack.aliyuncs.com

100.100.0.122/32

100.100.0.58/32

华南1(深圳)

cn-shenzhen

registry-cn-shenzhen-vpc.ack.aliyuncs.com

100.103.96.139/32

100.103.6.153/32

100.103.26.52/32

华南2(河源)

cn-heyuan

registry-cn-heyuan-vpc.ack.aliyuncs.com

100.100.0.150/32

100.100.0.193/32

华南3(广州)

cn-guangzhou

registry-cn-guangzhou-vpc.ack.aliyuncs.com

100.100.0.101/32

100.100.0.21/32

西南1(成都)

cn-chengdu

registry-cn-chengdu-vpc.ack.aliyuncs.com

100.100.0.48/32

100.100.0.64/32

郑州(联通合营)

cn-zhengzhou-jva

registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com

100.100.0.111/32 100.100.0.84/32

中国(香港)

cn-hongkong

registry-cn-hongkong-vpc.ack.aliyuncs.com

100.103.85.19/32

100.100.80.157/32

美国(硅谷)

us-west-1

registry-us-west-1-vpc.ack.aliyuncs.com

100.103.13.55/32

100.100.80.93/32

美国(弗吉尼亚)

us-east-1

registry-us-east-1-vpc.ack.aliyuncs.com

100.103.12.19/32

100.100.80.11/32

日本(东京)

ap-northeast-1

registry-ap-northeast-1-vpc.ack.aliyuncs.com

100.100.0.167/32

100.100.80.198/32

韩国(首尔)

ap-northeast-2

registry-ap-northeast-2-vpc.ack.aliyuncs.com

100.100.0.71/32

100.100.0.33/32

新加坡

ap-southeast-1

registry-ap-southeast-1-vpc.ack.aliyuncs.com

100.103.103.254/32

100.100.80.136/32

马来西亚(吉隆坡)

ap-southeast-3

registry-ap-southeast-3-vpc.ack.aliyuncs.com

100.100.0.17/32

100.100.80.137/32

印度尼西亚(雅加达)

ap-southeast-5

registry-ap-southeast-5-vpc.ack.aliyuncs.com

100.100.0.226/32

100.100.80.200/32

菲律宾(马尼拉)

ap-southeast-6

registry-ap-southeast-6-vpc.ack.aliyuncs.com

100.100.0.75/32

100.100.0.24/32

泰国(曼谷)

ap-southeast-7

registry-ap-southeast-7-vpc.ack.aliyuncs.com

100.100.0.62/32

100.100.0.34/32

德国(法兰克福)

eu-central-1

registry-eu-central-1-vpc.ack.aliyuncs.com

100.100.0.92/32

100.100.80.155/32

英国(伦敦)

eu-west-1

registry-eu-west-1-vpc.ack.aliyuncs.com

100.100.0.175/32

100.100.0.18/32

利雅得

me-central-1

registry-me-central-1-vpc.ack.aliyuncs.com

100.100.0.109/32 100.100.0.18/32

华东2 金融云

cn-shanghai-finance-1

registry-cn-shanghai-finance-1-vpc.ack.aliyuncs.com

100.100.0.54/32 100.100.80.227/32

OSS内网域名与VIP网段

地域

地域ID

OSS专用地域ID

VPC网络Endpoint

VIP网段

华东1(杭州)

cn-hangzhou

oss-cn-hangzhou

oss-cn-hangzhou-internal.aliyuncs.com

  • 100.118.28.0/24

  • 100.114.102.0/24

  • 100.98.170.0/24

  • 100.118.31.0/24

华东2(上海)

cn-shanghai

oss-cn-shanghai

oss-cn-shanghai-internal.aliyuncs.com

  • 100.98.35.0/24

  • 100.98.110.0/24

  • 100.98.169.0/24

  • 100.118.102.0/24

华东5(南京-本地地域-关停中)

cn-nanjing

oss-cn-nanjing

oss-cn-nanjing-internal.aliyuncs.com

100.114.142.0/24

华东6(福州-本地地域-关停中)

cn-fuzhou

oss-cn-fuzhou

oss-cn-fuzhou-internal.aliyuncs.com

100.115.21.0/24

华中1(武汉-本地地域)

cn-wuhan-lr

oss-cn-wuhan-lr

oss-cn-wuhan-lr-internal.aliyuncs.com

100.115.89.0/24

华北1(青岛)

cn-qingdao

oss-cn-qingdao

oss-cn-qingdao-internal.aliyuncs.com

  • 100.115.173.0/24

  • 100.99.113.0/24

  • 100.99.114.0/24

  • 100.99.115.0/24

华北2(北京)

cn-beijing

oss-cn-beijing

oss-cn-beijing-internal.aliyuncs.com

  • 100.118.58.0/24

  • 100.118.167.0/24

  • 100.118.170.0/24

  • 100.118.171.0/24

  • 100.118.172.0/24

  • 100.118.173.0/24

华北 3(张家口)

cn-zhangjiakou

oss-cn-zhangjiakou

oss-cn-zhangjiakou-internal.aliyuncs.com

  • 100.118.90.0/24

  • 100.98.159.0/24

  • 100.114.0.0/24

  • 100.114.1.0/24

华北5(呼和浩特)

cn-huhehaote

oss-cn-huhehaote

oss-cn-huhehaote-internal.aliyuncs.com

  • 100.118.195.0/24

  • 100.99.110.0/24

  • 100.99.111.0/24

  • 100.99.112.0/24

华北6(乌兰察布)

cn-wulanchabu

oss-cn-wulanchabu

oss-cn-wulanchabu-internal.aliyuncs.com

  • 100.114.11.0/24

  • 100.114.12.0/24

  • 100.114.100.0/24

  • 100.118.214.0/24

华南1(深圳)

cn-shenzhen

oss-cn-shenzhen

oss-cn-shenzhen-internal.aliyuncs.com

  • 100.118.78.0/24

  • 100.118.203.0/24

  • 100.118.204.0/24

  • 100.118.217.0/24

华南2(河源)

cn-heyuan

oss-cn-heyuan

oss-cn-heyuan-internal.aliyuncs.com

  • 100.98.83.0/24

  • 100.118.174.0/24

华南3(广州)

cn-guangzhou

oss-cn-guangzhou

oss-cn-guangzhou-internal.aliyuncs.com

  • 100.115.33.0/24

  • 100.114.101.0/24

西南1(成都)

cn-chengdu

oss-cn-chengdu

oss-cn-chengdu-internal.aliyuncs.com

  • 100.115.155.0/24

  • 100.99.107.0/24

  • 100.99.108.0/24

  • 100.99.109.0/24

中国香港

cn-hongkong

oss-cn-hongkong

oss-cn-hongkong-internal.aliyuncs.com

  • 100.115.61.0/24

  • 100.99.103.0/24

  • 100.99.104.0/24

  • 100.99.106.0/24

美国(硅谷)

us-west-1

oss-us-west-1

oss-us-west-1-internal.aliyuncs.com

100.115.107.0/24

美国(弗吉尼亚)

us-east-1

oss-us-east-1

oss-us-east-1-internal.aliyuncs.com

  • 100.115.60.0/24

  • 100.99.100.0/24

  • 100.99.101.0/24

  • 100.99.102.0/24

日本(东京)

ap-northeast-1

oss-ap-northeast-1

oss-ap-northeast-1-internal.aliyuncs.com

  • 100.114.211.0/24

  • 100.114.114.0/25

韩国(首尔)

ap-northeast-2

oss-ap-northeast-2

oss-ap-northeast-2-internal.aliyuncs.com

100.99.119.0/24

新加坡

ap-southeast-1

oss-ap-southeast-1

oss-ap-southeast-1-internal.aliyuncs.com

  • 100.118.219.0/24

  • 100.99.213.0/24

  • 100.99.116.0/24

  • 100.99.117.0/24

马来西亚(吉隆坡)

ap-southeast-3

oss-ap-southeast-3

oss-ap-southeast-3-internal.aliyuncs.com

  • 100.118.165.0/24

  • 100.99.125.0/24

  • 100.99.130.0/24

  • 100.99.131.0/24

印度尼西亚(雅加达)

ap-southeast-5

oss-ap-southeast-5

oss-ap-southeast-5-internal.aliyuncs.com

100.114.98.0/24

菲律宾(马尼拉)

ap-southeast-6

oss-ap-southeast-6

oss-ap-southeast-6-internal.aliyuncs.com

100.115.16.0/24

泰国(曼谷)

ap-southeast-7

oss-ap-southeast-7

oss-ap-southeast-7-internal.aliyuncs.com

100.98.249.0/24

德国(法兰克福)

eu-central-1

oss-eu-central-1

oss-eu-central-1-internal.aliyuncs.com

100.115.154.0/24

英国(伦敦)

eu-west-1

oss-eu-west-1

oss-eu-west-1-internal.aliyuncs.com

100.114.114.128/25

阿联酋(迪拜)

me-east-1

oss-me-east-1

oss-me-east-1-internal.aliyuncs.com

100.99.235.0/24

华东1金融云

cn-hangzhou-finance

oss-cn-hzjbp

  • oss-cn-hzjbp-a-internal.aliyuncs.com

  • oss-cn-hzjbp-b-internal.aliyuncs.com

  • 100.103.4.210/32

  • 100.115.6.0/24

华东2金融云

cn-shanghai-finance-1

oss-cn-shanghai-finance-1

oss-cn-shanghai-finance-1-internal.aliyuncs.com

  • 100.115.105.0/24

  • 100.100.36.8/32

华北2 金融云(邀测)

cn-beijing-finance-1

oss-cn-beijing-finance-1

oss-cn-beijing-finance-1-internal.aliyuncs.com

100.112.52.0/24

华南1金融云

cn-shenzhen-finance-1

oss-cn-shenzhen-finance-1

oss-cn-shenzhen-finance-1-internal.aliyuncs.com

100.112.15.0/24

杭州金融云公网

cn-hangzhou-finance

oss-cn-hzfinance

oss-cn-hzfinance-internal.aliyuncs.com

  • 100.103.4.95/32

  • 100.103.5.142/32

  • 100.103.5.143/32

  • 100.103.5.144/32

  • 100.115.6.0/24

上海金融云公网

cn-shanghai-finance-1

oss-cn-shanghai-finance-1-pub

oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com

  • 100.100.36.24/32

  • 100.100.36.8/32

深圳金融云公网

cn-shenzhen-finance-1

oss-cn-szfinance

oss-cn-szfinance-internal.aliyuncs.com

  • 100.112.15.0/24

  • 100.100.80.70/32

北京金融云公网

cn-beijing-finance-1

oss-cn-beijing-finance-1-pub

oss-cn-beijing-finance-1-pub-internal.aliyuncs.com

100.112.52.0/24

云助手服务域名与VIP网段

地域

Region ID

域名

IP地址

华北1(青岛)

cn-qingdao

cn-qingdao.axt.aliyun.com

  • 100.100.15.4

  • 100.100.183.1

华北2(北京)

cn-beijing

cn-beijing.axt.aliyun.com

100.100.18.120

华北3(张家口)

cn-zhangjiakou

cn-zhangjiakou.axt.aliyun.com

  • 100.100.99.23

  • 100.100.202.194

华北5(呼和浩特)

cn-huhehaote

cn-huhehaote.axt.aliyun.com

  • 100.100.126.8

  • 100.100.59.86

华北6(乌兰察布)

cn-wulanchabu

cn-wulanchabu.axt.aliyun.com

100.100.0.3

华东1(杭州)

cn-hangzhou

cn-hangzhou.axt.aliyun.com

100.100.45.106

华东2(上海)

cn-shanghai

cn-shanghai.axt.aliyun.com

  • 100.100.36.108

  • 100.100.159.7

华东5(南京-本地地域)

cn-nanjing

cn-nanjing.axt.aliyun.com

100.100.0.1

华东6(福州-本地地域)

cn-fuzhou

cn-fuzhou.axt.aliyun.com

100.100.0.26

华中1(武汉-本地地域)

cn-wuhan-lr

cn-wuhan-lr.axt.aliyun.com

100.100.0.8

华南1(深圳)

cn-shenzhen

cn-shenzhen.axt.aliyun.com

100.100.0.70

华南2(河源)

cn-heyuan

cn-heyuan.axt.aliyun.com

100.100.0.5

华南3(广州)

cn-guangzhou

cn-guangzhou.axt.aliyun.com

100.100.0.4

西南1(成都)

cn-chengdu

cn-chengdu.axt.aliyun.com

100.100.0.42

中国香港

cn-hongkong

cn-hongkong.axt.aliyun.com

  • 100.100.35.30

  • 100.100.98.28

新加坡

ap-southeast-1

ap-southeast-1.axt.aliyun.com

  • 100.100.30.60

  • 100.100.169.197

马来西亚(吉隆坡)

ap-southeast-3

ap-southeast-3.axt.aliyun.com

  • 100.100.127.16

  • 100.100.62.2

印度尼西亚(雅加达)

ap-southeast-5

ap-southeast-5.axt.aliyun.com

  • 100.100.80.165

  • 100.100.132.30

菲律宾(马尼拉)

ap-southeast-6

ap-southeast-6.axt.aliyun.com

100.100.0.15

泰国(曼谷)

ap-southeast-7

ap-southeast-7.axt.aliyun.com

100.100.0.30

日本(东京)

ap-northeast-1

ap-northeast-1.axt.aliyun.com

100.100.0.76

韩国(首尔)

ap-northeast-2

ap-northeast-2.axt.aliyun.com

100.100.0.23

美国(硅谷)

us-west-1

us-west-1.axt.aliyun.com

  • 100.100.29.34

  • 100.100.1.3

美国(弗吉尼亚)

us-east-1

us-east-1.axt.aliyun.com

  • 100.100.152.140

  • 100.100.147.87

德国(法兰克福)

eu-central-1

eu-central-1.axt.aliyun.com

  • 100.100.46.12

  • 100.100.53.26

英国(伦敦)

eu-west-1

eu-west-1.axt.aliyun.com

100.100.0.20

阿联酋(迪拜)

me-east-1

me-east-1.axt.aliyun.com

100.100.43.7

华东2 金融云(上海)

cn-shanghai-finance-1

cn-shanghai-finance-1.axt.aliyun.com

100.100.0.46

华北2 金融云(邀测)(北京)

cn-beijing-finance-1

cn-beijing-finance-1.axt.aliyun.com

100.100.0.165

华南1 金融云(深圳)

cn-shenzhen-finance-1

cn-shenzhen-finance-1.axt.aliyun.com

100.103.0.140

华北2 阿里政务云1(北京)

cn-north-2-gov-1

cn-north-2-gov-1.axt.aliyun.com

100.100.0.67

PrivateZone域名解析服务地址

地域

IP地址

适用于所有地域

  • 100.100.2.136

  • 100.100.2.138

相关文档