混合云节点池支持将本地IDC服务器通过专线形式接入,进行容器化管理。当通过专线接入集群时,请在接入前完成基础设施的网元配置。本文介绍了使用混合云节点池时,在本地IDC和云上需要进行的网络配置。
网络架构
本地数据中心:典型的本地IDC网络拓扑如图所示,采用三层网络架构,IDC服务器与交换机构建二层局域网,多个二层局域网构建成一个三层网络域,从而形成一个私网网段为10.0.0.0/8的IDC网络环境。
云端专有网络:云上专有网络采用了虚拟化网络,计算实例(ECS、ECI等)直接与虚拟交换机连接,通过虚拟交换机进行通信,另外一些云服务采用了100.0.0.0/8网段,在云上VPC中通过虚拟交换机可以默认访问到这些云服务网段。
专线:阿里云在全国各个地域都有专线接入点,推荐根据就近原则选择接入点地址。从IDC核心交换机通过网络防火墙可接入到阿里云高速通道接入点的边界路由器,结合专线网关或云企业网可连接到阿里云专有网络VPC。
配置示例
下方的IDC网络配置和云上网络配置示例中展示了配置一个混合云节点时,需要为IDC及云上各个网络模块进行的配置操作。
示例仅为展示配置思路,请结合实际情况使用。
示例中使用的配置情况为:
IDC核心交换机及其子网已完成三层网络配置。
集群位于杭州(
cn-hangzhou)地域。云端VPC网段:192.168.0.0/16
本地IDC网段:10.0.0.0/8
阿里云云服务、云产品私网网段:100.0.0.0/8
混合云节点容器网段:172.16.0.0/12
IDC网络配置
为确保集群混合云节点正常工作,IDC网络需要访问下列阿里云服务:
对象存储OSS
容器镜像服务ACR
云助手
PrivateZone
请配置网络访问策略,放行阿里云云服务网段100.0.0.0/8。如果无法使用完整的100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。
IDC核心交换机
配置项 | 说明 | 注意事项 |
上行路由(IDC访问云端) | 将云端VPC网段和云产品网段指向高速通道的边界路由器VBR。
如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。 | 如果使用Terway Hybrid插件的Underlay模式,还需要在IDC核心交换机以及交换机上配置BGP,让网络插件将容器路由宣告给交换机,详见使用Terway Hybrid网络插件。 |
下行路由(云端访问IDC) | 从阿里云高速通道的边界路由器VBR访问IDC服务器,本文默认核心交换机已完成服务器网络配置。 |
IDC网络防火墙
配置项 | 说明 |
出方向(IDC访问云端) | 请放行访问云端VPC的网段以及云服务的网段:
如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。 |
入方向(云端访问IDC) | 需要放行访问云端VPC的网段以及云服务的网段:
请允许上述入方向的网段访问kubelet的TCP 10250/10255端口,以及Node-Exporter的TCP 9100/9445端口。 |
混合云节点入方向(节点被访问的端口)
云端需要访问混合云节点时,混合云节点入方向需要暴露的端口如下:
协议 | 端口 | 源地址或源地址网段 | 注释 |
TCP | 10250、10255 | VPC网段 |
|
9100、9445 | VPC网段 | Prometheus主动发起访问节点的Node-Exporter端口9100/9445,以获取监控数据。 |
混合云节点出方向(节点需要访问的域名和端口)
混合云节点在专线模式下需要放通的域名和端口,其中访问地址中的{region}表示集群所在地域的ID,例如杭州地域为cn-hangzhou。其他地域的ID,请参见云产品网段对照表。
访问对象 | 专线模式访问域名 | 端口 | 说明 |
节点组件OSS下载地址 |
| TCP 443 | 可通过OSS下载kubelet、CNI、runtime、auton-hub等节点组件安装包。 |
API Server内网端点 | 通过集群基本信息页签查看。 | TCP 6443 | 用于与kube-apiserver交互。 |
系统组件镜像地址 |
| TCP 443 | 系统组件镜像需要使用的地址。 |
云助手 |
| TCP 443 | 云助手服务及安装包地址。 |
云上网络配置示例
边界路由器VBR
配置项 | 说明 | 注意事项 |
上行路由(IDC访问云端) | 将云端VPC的网段和云产品的网段指向VPC。通过直连VPC、专线网关ECR或云企业网CEN等方法均可,具体方案参见什么是高速通道。
如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。 | 无 |
下行路由(云端访问IDC) | 将IDC服务器的网段10.0.0.0/8,通过专线以及IDC网络防火墙指向IDC核心交换机。 | 如果选用Terway Hybrid插件的Underlay模式,还需配置VBR的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到VBR下行路由中。 |
专线网关ECR或云企业网CEN
配置项 | 说明 | 注意事项 |
上行路由(IDC访问云端) | 配置ECR或CEN的转发路由表,将云端VPC的网段和云产品的网段指向VPC。
如果无法使用100.0.0.0/8,请参见云产品网段对照表,为必须使用的云产品放行特定网段。 | 无 |
下行路由(云端访问IDC) | 配置ECR或CEN的转发路由表,将IDC服务器网段10.0.0.0/8指向边界路由器VBR。 | 如果选用Terway Hybrid插件的Underlay模式,还需配置ECR或CEN的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到ECR或CEN的下行路由中。 |
云上VPC路由表
配置项 | 说明 | 注意事项 |
上行路由(IDC访问云端) | 云端VPC默认已完成网络配置,会在接收到IDC请求之后转发到目的地址。 | 无 |
下行路由(云端访问IDC) | 配置云端VPC路由表,将IDC服务器网段10.0.0.0/8指向云企业网CEN或专线网关ECR。 | 如果选用Terway Hybrid插件的Underlay模式,还需配置VPC路由表的下行容器路由,即将混合云节点容器网段172.16.0.0/12配置到VPC路由表的下行路由中。 |
云上VPC安全组
配置项 | 说明 |
出方向(云端访问IDC) | 需要放行IDC服务器网段10.0.0.0/8。 请放行kubelet的TCP10250/10255端口、node-exporter的TCP 9100/9445端口等。 |
入方向(IDC访问云端) | 需要允许IDC网段10.0.0.0/8的访问请求。 请放行API Server的TCP 6443端口。 |
云产品网段对照表
ACK组件内网镜像地址与网段
Region | Region ID | VPC网络Endpoint | 需要添加的路由网段 |
华东1(杭州) | cn-hangzhou | registry-cn-hangzhou-vpc.ack.aliyuncs.com | 100.103.9.188/32 100.103.7.181/32 |
华东2(上海) | cn-shanghai | registry-cn-shanghai-vpc.ack.aliyuncs.com | 100.103.94.158/32 100.103.7.57/32 100.100.80.231/32 |
华东6(福州-本地地域-关停中) | cn-fuzhou | registry-cn-fuzhou-vpc.ack.aliyuncs.com | 100.100.0.43/32 100.100.0.28/32 |
华北1(青岛) | cn-qingdao | registry-cn-qingdao-vpc.ack.aliyuncs.com | 100.100.0.172/32 100.100.0.207/32 |
华北2(北京) | cn-beijing | registry-cn-beijing-vpc.ack.aliyuncs.com | 100.103.99.73/32 100.103.0.251/32 100.103.6.63/32 |
华北 3(张家口) | cn-zhangjiakou | registry-cn-zhangjiakou-vpc.ack.aliyuncs.com | 100.100.1.179/32 100.100.80.152/32 |
华北5(呼和浩特) | cn-huhehaote | registry-cn-huhehaote-vpc.ack.aliyuncs.com | 100.100.0.194/32 100.100.80.55/32 |
华北6(乌兰察布) | cn-wulanchabu | registry-cn-wulanchabu-vpc.ack.aliyuncs.com | 100.100.0.122/32 100.100.0.58/32 |
华南1(深圳) | cn-shenzhen | registry-cn-shenzhen-vpc.ack.aliyuncs.com | 100.103.96.139/32 100.103.6.153/32 100.103.26.52/32 |
华南2(河源) | cn-heyuan | registry-cn-heyuan-vpc.ack.aliyuncs.com | 100.100.0.150/32 100.100.0.193/32 |
华南3(广州) | cn-guangzhou | registry-cn-guangzhou-vpc.ack.aliyuncs.com | 100.100.0.101/32 100.100.0.21/32 |
西南1(成都) | cn-chengdu | registry-cn-chengdu-vpc.ack.aliyuncs.com | 100.100.0.48/32 100.100.0.64/32 |
郑州(联通合营) | cn-zhengzhou-jva | registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com | 100.100.0.111/32 100.100.0.84/32 |
中国(香港) | cn-hongkong | registry-cn-hongkong-vpc.ack.aliyuncs.com | 100.103.85.19/32 100.100.80.157/32 |
美国(硅谷) | us-west-1 | registry-us-west-1-vpc.ack.aliyuncs.com | 100.103.13.55/32 100.100.80.93/32 |
美国(弗吉尼亚) | us-east-1 | registry-us-east-1-vpc.ack.aliyuncs.com | 100.103.12.19/32 100.100.80.11/32 |
日本(东京) | ap-northeast-1 | registry-ap-northeast-1-vpc.ack.aliyuncs.com | 100.100.0.167/32 100.100.80.198/32 |
韩国(首尔) | ap-northeast-2 | registry-ap-northeast-2-vpc.ack.aliyuncs.com | 100.100.0.71/32 100.100.0.33/32 |
新加坡 | ap-southeast-1 | registry-ap-southeast-1-vpc.ack.aliyuncs.com | 100.103.103.254/32 100.100.80.136/32 |
马来西亚(吉隆坡) | ap-southeast-3 | registry-ap-southeast-3-vpc.ack.aliyuncs.com | 100.100.0.17/32 100.100.80.137/32 |
印度尼西亚(雅加达) | ap-southeast-5 | registry-ap-southeast-5-vpc.ack.aliyuncs.com | 100.100.0.226/32 100.100.80.200/32 |
菲律宾(马尼拉) | ap-southeast-6 | registry-ap-southeast-6-vpc.ack.aliyuncs.com | 100.100.0.75/32 100.100.0.24/32 |
泰国(曼谷) | ap-southeast-7 | registry-ap-southeast-7-vpc.ack.aliyuncs.com | 100.100.0.62/32 100.100.0.34/32 |
德国(法兰克福) | eu-central-1 | registry-eu-central-1-vpc.ack.aliyuncs.com | 100.100.0.92/32 100.100.80.155/32 |
英国(伦敦) | eu-west-1 | registry-eu-west-1-vpc.ack.aliyuncs.com | 100.100.0.175/32 100.100.0.18/32 |
利雅得 | me-central-1 | registry-me-central-1-vpc.ack.aliyuncs.com | 100.100.0.109/32 100.100.0.18/32 |
华东2 金融云 | cn-shanghai-finance-1 | registry-cn-shanghai-finance-1-vpc.ack.aliyuncs.com | 100.100.0.54/32 100.100.80.227/32 |
OSS内网域名与VIP网段
地域 | 地域ID | OSS专用地域ID | VPC网络Endpoint | VIP网段 |
华东1(杭州) | cn-hangzhou | oss-cn-hangzhou | oss-cn-hangzhou-internal.aliyuncs.com |
|
华东2(上海) | cn-shanghai | oss-cn-shanghai | oss-cn-shanghai-internal.aliyuncs.com |
|
华东5(南京-本地地域-关停中) | cn-nanjing | oss-cn-nanjing | oss-cn-nanjing-internal.aliyuncs.com | 100.114.142.0/24 |
华东6(福州-本地地域-关停中) | cn-fuzhou | oss-cn-fuzhou | oss-cn-fuzhou-internal.aliyuncs.com | 100.115.21.0/24 |
华中1(武汉-本地地域) | cn-wuhan-lr | oss-cn-wuhan-lr | oss-cn-wuhan-lr-internal.aliyuncs.com | 100.115.89.0/24 |
华北1(青岛) | cn-qingdao | oss-cn-qingdao | oss-cn-qingdao-internal.aliyuncs.com |
|
华北2(北京) | cn-beijing | oss-cn-beijing | oss-cn-beijing-internal.aliyuncs.com |
|
华北 3(张家口) | cn-zhangjiakou | oss-cn-zhangjiakou | oss-cn-zhangjiakou-internal.aliyuncs.com |
|
华北5(呼和浩特) | cn-huhehaote | oss-cn-huhehaote | oss-cn-huhehaote-internal.aliyuncs.com |
|
华北6(乌兰察布) | cn-wulanchabu | oss-cn-wulanchabu | oss-cn-wulanchabu-internal.aliyuncs.com |
|
华南1(深圳) | cn-shenzhen | oss-cn-shenzhen | oss-cn-shenzhen-internal.aliyuncs.com |
|
华南2(河源) | cn-heyuan | oss-cn-heyuan | oss-cn-heyuan-internal.aliyuncs.com |
|
华南3(广州) | cn-guangzhou | oss-cn-guangzhou | oss-cn-guangzhou-internal.aliyuncs.com |
|
西南1(成都) | cn-chengdu | oss-cn-chengdu | oss-cn-chengdu-internal.aliyuncs.com |
|
中国香港 | cn-hongkong | oss-cn-hongkong | oss-cn-hongkong-internal.aliyuncs.com |
|
美国(硅谷) | us-west-1 | oss-us-west-1 | oss-us-west-1-internal.aliyuncs.com | 100.115.107.0/24 |
美国(弗吉尼亚) | us-east-1 | oss-us-east-1 | oss-us-east-1-internal.aliyuncs.com |
|
日本(东京) | ap-northeast-1 | oss-ap-northeast-1 | oss-ap-northeast-1-internal.aliyuncs.com |
|
韩国(首尔) | ap-northeast-2 | oss-ap-northeast-2 | oss-ap-northeast-2-internal.aliyuncs.com | 100.99.119.0/24 |
新加坡 | ap-southeast-1 | oss-ap-southeast-1 | oss-ap-southeast-1-internal.aliyuncs.com |
|
马来西亚(吉隆坡) | ap-southeast-3 | oss-ap-southeast-3 | oss-ap-southeast-3-internal.aliyuncs.com |
|
印度尼西亚(雅加达) | ap-southeast-5 | oss-ap-southeast-5 | oss-ap-southeast-5-internal.aliyuncs.com | 100.114.98.0/24 |
菲律宾(马尼拉) | ap-southeast-6 | oss-ap-southeast-6 | oss-ap-southeast-6-internal.aliyuncs.com | 100.115.16.0/24 |
泰国(曼谷) | ap-southeast-7 | oss-ap-southeast-7 | oss-ap-southeast-7-internal.aliyuncs.com | 100.98.249.0/24 |
德国(法兰克福) | eu-central-1 | oss-eu-central-1 | oss-eu-central-1-internal.aliyuncs.com | 100.115.154.0/24 |
英国(伦敦) | eu-west-1 | oss-eu-west-1 | oss-eu-west-1-internal.aliyuncs.com | 100.114.114.128/25 |
阿联酋(迪拜) | me-east-1 | oss-me-east-1 | oss-me-east-1-internal.aliyuncs.com | 100.99.235.0/24 |
华东1金融云 | cn-hangzhou-finance | oss-cn-hzjbp |
|
|
华东2金融云 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-internal.aliyuncs.com |
|
华北2 金融云(邀测) | cn-beijing-finance-1 | oss-cn-beijing-finance-1 | oss-cn-beijing-finance-1-internal.aliyuncs.com | 100.112.52.0/24 |
华南1金融云 | cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1-internal.aliyuncs.com | 100.112.15.0/24 |
杭州金融云公网 | cn-hangzhou-finance | oss-cn-hzfinance | oss-cn-hzfinance-internal.aliyuncs.com |
|
上海金融云公网 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-pub | oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com |
|
深圳金融云公网 | cn-shenzhen-finance-1 | oss-cn-szfinance | oss-cn-szfinance-internal.aliyuncs.com |
|
北京金融云公网 | cn-beijing-finance-1 | oss-cn-beijing-finance-1-pub | oss-cn-beijing-finance-1-pub-internal.aliyuncs.com | 100.112.52.0/24 |
云助手服务域名与VIP网段
地域 | Region ID | 域名 | IP地址 |
华北1(青岛) | cn-qingdao | cn-qingdao.axt.aliyun.com |
|
华北2(北京) | cn-beijing | cn-beijing.axt.aliyun.com | 100.100.18.120 |
华北3(张家口) | cn-zhangjiakou | cn-zhangjiakou.axt.aliyun.com |
|
华北5(呼和浩特) | cn-huhehaote | cn-huhehaote.axt.aliyun.com |
|
华北6(乌兰察布) | cn-wulanchabu | cn-wulanchabu.axt.aliyun.com | 100.100.0.3 |
华东1(杭州) | cn-hangzhou | cn-hangzhou.axt.aliyun.com | 100.100.45.106 |
华东2(上海) | cn-shanghai | cn-shanghai.axt.aliyun.com |
|
华东5(南京-本地地域) | cn-nanjing | cn-nanjing.axt.aliyun.com | 100.100.0.1 |
华东6(福州-本地地域) | cn-fuzhou | cn-fuzhou.axt.aliyun.com | 100.100.0.26 |
华中1(武汉-本地地域) | cn-wuhan-lr | cn-wuhan-lr.axt.aliyun.com | 100.100.0.8 |
华南1(深圳) | cn-shenzhen | cn-shenzhen.axt.aliyun.com | 100.100.0.70 |
华南2(河源) | cn-heyuan | cn-heyuan.axt.aliyun.com | 100.100.0.5 |
华南3(广州) | cn-guangzhou | cn-guangzhou.axt.aliyun.com | 100.100.0.4 |
西南1(成都) | cn-chengdu | cn-chengdu.axt.aliyun.com | 100.100.0.42 |
中国香港 | cn-hongkong | cn-hongkong.axt.aliyun.com |
|
新加坡 | ap-southeast-1 | ap-southeast-1.axt.aliyun.com |
|
马来西亚(吉隆坡) | ap-southeast-3 | ap-southeast-3.axt.aliyun.com |
|
印度尼西亚(雅加达) | ap-southeast-5 | ap-southeast-5.axt.aliyun.com |
|
菲律宾(马尼拉) | ap-southeast-6 | ap-southeast-6.axt.aliyun.com | 100.100.0.15 |
泰国(曼谷) | ap-southeast-7 | ap-southeast-7.axt.aliyun.com | 100.100.0.30 |
日本(东京) | ap-northeast-1 | ap-northeast-1.axt.aliyun.com | 100.100.0.76 |
韩国(首尔) | ap-northeast-2 | ap-northeast-2.axt.aliyun.com | 100.100.0.23 |
美国(硅谷) | us-west-1 | us-west-1.axt.aliyun.com |
|
美国(弗吉尼亚) | us-east-1 | us-east-1.axt.aliyun.com |
|
德国(法兰克福) | eu-central-1 | eu-central-1.axt.aliyun.com |
|
英国(伦敦) | eu-west-1 | eu-west-1.axt.aliyun.com | 100.100.0.20 |
阿联酋(迪拜) | me-east-1 | me-east-1.axt.aliyun.com | 100.100.43.7 |
华东2 金融云(上海) | cn-shanghai-finance-1 | cn-shanghai-finance-1.axt.aliyun.com | 100.100.0.46 |
华北2 金融云(邀测)(北京) | cn-beijing-finance-1 | cn-beijing-finance-1.axt.aliyun.com | 100.100.0.165 |
华南1 金融云(深圳) | cn-shenzhen-finance-1 | cn-shenzhen-finance-1.axt.aliyun.com | 100.103.0.140 |
华北2 阿里政务云1(北京) | cn-north-2-gov-1 | cn-north-2-gov-1.axt.aliyun.com | 100.100.0.67 |
PrivateZone域名解析服务地址
地域 | IP地址 |
适用于所有地域 |
|