在创建ACK Kubernetes集群时,您需要指定专有网络VPC、虚拟交换机、 Pod网络CIDR(地址段)和Service CIDR(地址段)。因此建议您提前规划ECS地址、Kubernetes Pod地址和Service地址。本文将介绍阿里云VPC环境下ACK Kubernetes集群里各种地址的作用,以及地址段该如何规划。

专有网络VPC网段和Kubernetes网段关系

专有网络VPC的网段规划包含VPC自身网段和虚拟交换机网段,Kubernetes网段规划包含Pod地址段和Service地址段。二者的关系示例,如下图所示。
图 1. Terway示意图
terway
图 2. Flannel示意图
Flannel示意图

注意事项

在配置ACK Kubernetes集群网络时,涉及的参数配置注意事项如下表。
配置参数 注意事项
专有网络VPC

您在创建VPC时需要选择的网段,只能从10.0.0.0/8、172.16.0.0/12、192.168.0.0/16三者当中选择一个。在容器服务控制台配置中,专有网络VPC网段也称为专有网络网段。

虚拟交换机
虚拟交换机用于节点间网络通信。在VPC里创建交换机时指定的网段,必须是当前VPC网段的子集(可以跟VPC网段一样,但不能超过)。
  • 交换机下的ECS所分配到的地址,就是从这个交换机网段内获取的。
  • 一个VPC下,可以创建多个交换机,但交换机网段不能重叠。
Pod虚拟交换机
在选择Terway网络插件时需要配置Pod虚拟交换机。Pod是Kubernetes内的概念,每个Pod具有一个IP地址。Flannel场景中Pod不使用交换机,无需配置此项。在VPC里创建交换机时指定的网段,必须是当前VPC网段的子集。
  • Terway网络模式下,Pod分配的Pod IP就是从这个交换机网段内获取的。
  • 该地址段不能和虚拟交换机网段重叠。
  • 该地址段不能和Service地址段重叠。
Pod网络CIDR
在选择Flannel网络插件时需要配置。Terway网络模式使用Pod虚拟交换机,无需配置此项。
  • 该地址段不能和虚拟交换机网段重叠。
  • 该地址段不能和Service地址段重叠。

例如,VPC网段用的是172.16.0.0/12,Kubernetes的Pod地址段就不能使用172.16.0.0/16、172.17.0.0/16等,因为这些地址都包含在172.16.0.0/12里。

Service地址段
Service是Kubernetes内的概念,对应的是Type=ClusterIP时Service使用的地址,每个Service有自己的地址。
  • Service地址只在Kubernetes集群内使用,不能在集群外使用。
  • Service地址段不能和VPC网段重叠。
  • Service地址段不能和Pod地址段重叠。

网络规划

在阿里云环境下使用ACK支持的Kubernetes集群,首先需要根据业务场景、集群规模进行网络规划。您可以按下表规格进行规划(未包含场景,请根据实际需要自行调整)。

VPC网络规划

集群节点规模 目的 VPC规划 可用区
小于100个节点 一般性业务 单VPC 1个
任意 需要多可用区 单VPC 2个及以上
任意 对可靠性有极致要求、需要多地域 多VPC 2个及以上

容器网络规划

本文针对以下三种场景,规划容器网络:
  • Flannel配置示例
    专有网络网段 虚拟交换机网段 Pod网络CIDR网段 Service CIDR网段
    192.168.0.0/16 192.168.0.0/24 172.20.0.0/16 172.21.0.0/20
  • Terway Pod独占模式IPVlan模式
    专有网络网段 虚拟交换机网段 Pod虚拟交换机网段 Service CIDR网段
    192.168.0.0/16 192.168.0.0/19 192.168.32.0/19 172.21.0.0/20
  • 多可用区配置
    专有网络网段网段 虚拟交换机网段 Pod虚拟交换机网段 Service CIDR网段
    192.168.0.0/16 可用区I 192.168.0.0/19 192.168.32.0/19 172.21.0.0/20
    可用区J 192.168.64.0/19 192.168.96.0/19

如何选择地址段?

  • 场景1:单VPC+单Kubernetes集群

    这是最简单的情形。VPC地址在创建VPC的时候就已经确定,创建Kubernetes集群时,选择的Pod及Service地址网段和当前VPC不一样的地址段即可。

  • 场景2:单VPC+多Kubernetes集群
    一个VPC下创建多个Kubernetes集群。
    • VPC地址是在创建VPC时已经确定。创建Kubernetes集群时,每个集群内的VPC地址段、Service地址段和Pod地址段彼此间不能重叠。
    • 所有Kubernetes集群之间的Pod地址段不能重叠,但Service地址段可以重叠。
    • 在默认的网络模式下(Flannel),Pod的报文需要通过VPC路由转发,容器服务会自动在VPC路由上配置到每个Pod地址段的路由表。
    说明 这种情况下Kubernetes集群部分互通,一个集群的Pod可以直接访问另外一个集群的Pod和ECS,但不能访问另外一个集群的Service。
  • 场景3:VPC互联
    两个VPC网络互联的情况下,可以通过路由表配置哪些报文要发送到对端VPC里。如下表所示,VPC 1使用地址段192.168.0.0/16,VPC 2使用地址段172.16.0.0/12,您可以通过路由表,指定在VPC 1里把目的地址为172.16.0.0/12的报文都发送到VPC 2。
    路由表
    表 1. VPC互联场景
    类别 地址段 目的端 转发到
    VPC 1 192.168.0.0/16 172.16.0.0/12 VPC 2
    VPC 2 172.16.0.0/12 192.168.0.0/16 VPC 1
    在这种情况下,VPC 1和VPC 2里创建的Kubernetes集群有以下限制:
    • 不能和VPC 1的地址段重叠
    • 不能和VPC 2的地址段重叠
    • 不能和其他集群的地址段重叠
    • 不能和Pod的地址段重叠
    • 不能和Service的地址段重叠

    此例子中,Kubernetes集群Pod地址段可以选择10.0.0.0/8下的某个子段。

    说明 您需特别关注转发到VPC 2的地址段,可以把这部分地址理解成已经占用的地址,Kubernetes集群不能和已经占用的地址重叠。

    如果VPC 2里要访问VPC 1的Kubernetes Pod,则需要在VPC 2里配置到VPC 1 Kubernetes集群Pod地址的路由。

  • 场景4:VPC网络到IDC

    和VPC互联场景类似,同样存在VPC里部分地址段路由到IDC,Kubernetes集群的Pod地址就不能和这部分地址重叠。IDC里如果需要访问Kubernetes里的Pod地址,同样需要在IDC端配置到专线VBR的路由表。