为Pod配置固定IP及独立虚拟交换机、安全组

步骤二：创建网络自定义资源PodNetworking

Terway增加一种名为PodNetworking的自定义资源来描述网络配置。您可以创建多个PodNetworking来规划不同的网络平面。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 自定义资源。

3. 在自定义资源页面，单击资源定义（CustomResourceDefinition）页签，然后单击使用YAML创建资源。

   创建PodNetworking的示例如下：

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodNetworking
   metadata:
     name: example
   spec:
     allocationType:
       type: Fixed # Pod IP分配的策略，可以取值为Elastic或Fixed。
       releaseStrategy: TTL # 只有将type配置为Fixed时，releaseStrategy参数才有效；type的配置为Elastic时，无需配置releaseStrategy和releaseAfter参数。
       releaseAfter: "1h" # 在releaseStrategy为TTL模式下，releaseAfter参数才有效。
     selector:
       podSelector:
         matchLabels:
           foo: bar
       namespaceSelector:
         matchLabels:
           foo: bar
     securityGroupIDs:
     - sg-bpxxxx
     vSwitchOptions:
     - vsw-bpxxxx
     eniOptions:
       eniType: Default

   参数说明如下：

   参数		说明
   allocationType （描述Pod IP分配的策略）	type	取值范围： Elastic：弹性IP策略。Pod删除后，IP资源被释放。 Fixed：固定IP策略。 启用后，该PodNetworking对固定名称的Pod生效。默认支持StatefulSet和无ownerReferences 的Pod使用。如果您需要设置自定义工作负载，请在组件管理对terway-controlplane进行配置。 说明 如果您使用了固定IP策略，Pod重建后的可用区将被添加约束，来确保和第一次调度的可用区匹配。
   	releaseStrategy	IP释放策略，只有将type配置为Fixed时，该参数才有效。参数取值范围如下。 TTL：延迟释放IP策略。当Pod被删除一段时间后，才会释放IP，最小值为5分钟。 Never：不释放IP策略。当您无需使用IP时，需要自行删除PodENI资源。
   	releaseAfter	延迟回收时间。仅在releaseStrategy为TTL模式下生效，支持时间格式为Go time type，请使用h、m时间单位 ，例如2h45m、5m0s。关于Go time type，请参见Go time type。
   selector （用于配置标签选择器，被选中的Pod将使用该网络配置）	podSelector	用来匹配Pod的Labels，匹配的Pod在创建时将使用这个网络配置。 如果同时配置podSelector与namespaceSelector，符合全部匹配规则的Pod在创建时将使用这个网络配置。 您在配置Pod标签与PodNetworking中的selector时，请确保有唯一匹配关系，如果Pod被多个PodNetworking配置所匹配，将使用任一匹配的PodNetworking配置。
   	namespaceSelector	用来匹配Namespace的Labels，匹配的Pod在创建时将使用这个网络配置。 如果同时配置podSelector与namespaceSelector，符合全部匹配规则的Pod在创建时将使用这个网络配置。 您在配置Pod标签与PodNetworking中的selector时，请确保有唯一匹配关系，如果Pod被多个PodNetworking配置匹配，将使用任意匹配的PodNetworking配置。
   vSwitchOptions	-	用于配置Pod使用的vSwitch，多个vSwitchID之间为或的关系。Pod仅能使用一个vSwitch，Terway将选择一个符合条件的vSwitch。 您的Pod部署的可用区将被添加约束，来确保这些可用区保持和您配置的vSwitchOptions列表中的可用区一致。 请确保vSwitchOptions中的vSwitch所在可用区与您指定调度的节点可用区一致，并且拥有足够的剩余IP资源，否则Pod将无法创建。 说明 如果您同时启用了节点自动伸缩，vSwitchOptions参数添加的可用区约束可能导致节点池扩容无法触发，详情请参见依赖特定可用区运行的Pod无法触发多可用区的节点池扩容 节点自动伸缩FAQ。
   vSwitchSelectOptions （配置交换机的选择策略）	vSwitchSelectionPolicy	取值范围： ordered：默认，按填写的交换机顺序。 most：优先使用剩余IP多的交换机。 random：随机选择交换机。 说明 从Terway v1.11.0开始支持。
   securityGroupIDs	-	可配置多个安全组ID，配置多个安全组时将同时生效，安全组数量小于等于5个。
   eniOptions （配置Pod使用的弹性网卡类型）	eniType	取值范围： Default：默认，在共享ENI集群，使用Trunk ENI，在独占ENI集群，使用独占ENI。 ENI：使用独占ENI。 Trunk：使用Trunk ENI。 说明 从Terway v1.11.0开始支持。

4. 单击创建。

   创建PodNetworking资源后，Terway将同步网络配置信息，只有在status成为Ready后，该网络资源才能对Pod生效。

   执行以下命令，查看资源状态是否ready。

   kubectl describe PodNetworking example # 请将example换成您自己的自定义资源名称。

（可选）步骤三：为命名空间添加匹配标签

在部署PodNetworking自定义资源后，如果通过Namespace标签将命名空间与PodNetworking的规则相匹配，需要为指定命名空间增加相同的标签。

1. 执行以下命令，创建测试命名空间example。

   kubectl create ns example

2. 执行以下命令，为命名空间打上foo=bar标签。

   kubectl label namespaces example foo=bar  # 请将example换成您自己指定命名空间名称。

3. 执行以下命令，查看命名空间的标签。

   kubectl get namespace example --show-labels  # 请将example换成您自己指定命名空间名称。

   预期输出如下。

    NAME      STATUS   AGE   LABELS
   example   Active   24s   foo=bar,kubernetes.io/metadata.name=example

（可选）步骤四：创建应用Pod

当创建Pod时，Pod将根据标签与PodNetworking资源进行匹配。如果Pod没有匹配到任何PodNetworking资源，它将默认使用ENI提供的IP。如果有匹配的PodNetworking，Pod将按照该资源定义的配置来分配ENI。

对于这类Pod，Terway将创建一个名为PodENI的CRD来跟踪Pod所占用的网络资源。这个资源由Terway管理。有关Pod标签的更多信息，请参见标签。

1. 使用以下示例应用的YAML内容，创建名为my-nginx.yaml文件。

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: my-nginx    # 实例应用的名称。
     namespace: example   # 指定命名空间为example。
     labels:
       app: nginx
   spec:
     serviceName: "nginx-service"  
     replicas: 1    
     selector:
       matchLabels:
         app: nginx 
     template:
       metadata:
         labels:
           app: nginx
           foo: bar  # 为Pod添加foo: bar标签。
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80  
   
   #  如果StatefulSet需要持久化存储，需要定义volumeClaimTemplates。
   #  例如
   #  volumeClaimTemplates:
   #  - metadata:
   #      name: nginx-storage
   #    spec:
   #      accessModes: ["ReadWriteOnce"]
   #      storageClassName: "my-storage-class"
   #      resources:
   #        requests:
   #          storage: 1Gi

2. 执行以下命令，部署示例应用my-nginx。部署完成后，验证操作请参见如何判断Pod是否使用了PodNetworking的网络配置？

   kubectl apply -f my-nginx.yaml

如何判断Pod是否使用了PodNetworking的网络配置？

1. Pod创建后，在annotations中将以k8s.aliyun.com/pod-networking作为键值记录创建该Pod时是否使用了PodNetworking资源。

   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.aliyun.com/pod-eni: "true"
       k8s.aliyun.com/pod-networking: podnetworking
     labels:
       app: example
       pod-ip: elastic

2. Terway将创建与Pod同名、同命名空间的PodENI资源，用于记录所使用的网络配置信息。

   kubectl get podenis.network.alibabacloud.com <my-nginx-0> -n <example> -o yaml # 替换<my-nginx-0>为Pod名称，<example>为Pod所处命名空间

   输出内容如下，则说明Pod已经使用PodNetworking配置。

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodENI
   metadata:
     finalizers:
     - pod-eni
     generation: 1
     name: <my-nginx-0>
     namespace: default
   spec:
     allocations:
     - allocationType:
         type: Elastic
       eni:
         id: eni-bp1xxxx
         mac: 00:16:xx:xx:xx:xx
         securityGroupIDs:
         - sg-bp1xxxx
         vSwitchID: vsw-bp1xxxx
         zone: cn-hangzhou-h
       ipv4: 192.168.x.x
       ipv4CIDR: 192.168.x.x/19
       ipv6: 2408:x:x:x:x:x:x:x
       ipv6CIDR: 2408:x:x:x::/64
     zone: cn-hangzhou-h
   status:
     eniInfos:
       eni-bp1xxxx:
         id: eni-bp1xxxx
         status: Bind
         vid: 1001
     instanceID: i-bp1xxxx
     phase: Bind
     podLastSeen: "2021-xx-xxT00:00:00Z"
     trunkENIID: eni-bp1xxxx

Pod创建后为什么没有使用PodNetworking中的网络配置？

1. 请确保PodNetworking资源状态为Ready。

2. 请确保Pod标签和PodNetworking中的标签可以唯一匹配。

3. 如果您使用固定IP策略，则非StatefulSet控制器创建的Pod将无法被匹配。