在ACK集群中基于机密虚拟机实现CAA机密容器方案

1、创建RAM角色

请参见创建可信实体为身份提供商的RAM角色创建一个RAM角色。本示例RAM角色名为ack-caa-demo，主要参数如下。

创建后，您可以在RAM角色详情页面的基本信息区域，获取其ARN，供后续配置身份认证使用。

2、创建权限策略

1. 参见下方脚本创建一个名为 ack-caa-policy的 RAM 权限策略，授予ECS和VPC的操作权限。操作入口，请参见创建自定义权限策略。

   {
     "Version": "1",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "ecs:RunInstances",
           "ecs:DeleteInstance",
           "ecs:DescribeInstanceAttribute",
           "ecs:CreateNetworkInterface",
           "ecs:DeleteNetworkInterface",
           "ecs:AttachNetworkInterface",
           "ecs:ModifyNetworkInterfaceAttribute",
           "ecs:DescribeNetworkInterfaceAttribute"
         ],
         "Resource": "*"
       },
       {
         "Effect": "Allow",
         "Action": [
           "vpc:DescribeVSwitchAttributes",
           "vpc:AllocateEipAddress",
           "vpc:ReleaseEipAddress",
           "vpc:AssociateEipAddress",
           "vpc:UnassociateEipAddress",
           "vpc:DescribeEipAddresses"
         ],
         "Resource": "*"
       }
     ]
   }

2. 为此前创建的RAM角色授予权限策略ack-caa-policy。操作入口，请参见管理RAM角色的权限。

步骤三：利用 Helm Chart 部署 CAA

请参见下文部署CAA的核心组件：

• Cert Manager：用于CAA Webhook等组件的证书校验，属于CAA部署的前置依赖。

• CAA（Cloud API Adaptor） ：包含了Kata Containers的远程运行时Kata Remote Runtime、CAA节点DaemonSet等，整体配合可根据Pod调度请求动态创建机密虚拟机作为Pod的运行时节点。

mkdir cert-manager
cat << EOF > cert-manager/kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - https://github.com/jetstack/cert-manager/releases/download/v1.9.1/cert-manager.yaml

images:
  - name: quay.io/jetstack/cert-manager-controller
    newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/cert-manager-controller
  - name: quay.io/jetstack/cert-manager-webhook
    newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/cert-manager-webhook
  - name: quay.io/jetstack/cert-manager-cainjector
    newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/cert-manager-cainjector
EOF

kubectl apply -k cert-manager

2、部署 Cloud API Adaptor

1. 创建Helm管理的Namespace。

   kubectl apply -f - << EOF
   apiVersion: v1
   kind: Namespace
   metadata:
     name: confidential-containers-system
     labels:
       app.kubernetes.io/managed-by: Helm
     annotations:
       meta.helm.sh/release-name: peerpods
       meta.helm.sh/release-namespace: confidential-containers-system
   EOF

2. 下载项目源码。

   git clone https://github.com/confidential-containers/cloud-api-adaptor.git -b v0.19.0
   cd cloud-api-adaptor/src/cloud-api-adaptor/install/charts/peerpods

3. 修改 providers/alibabacloud.yaml 文件中的相关配置。

   参数	说明
   providerConfigs.alibabacloud.SECURITY_GROUP_IDS	虚拟机安全组ID，即步骤二所创建的节点池的安全组ID。
   providerConfigs.alibabacloud.VSWITCH_ID	虚拟机交换机ID，即步骤二所创建的节点池在可用区下的交换机ID。
   providerConfigs.alibabacloud.REGION	集群所在区域。例如cn-beijing。
   providerConfigs.alibabacloud.IMAGEID	虚拟机启动镜像。 华北2（北京）：修改为m-2zef6zaa0j0qz3sunhjp。 新加坡：修改为m-t4n9ocuen5sy6rhbxbk1。

4. 使用以下内容新建文件 ./mirror-values.yaml，配置使用阿里云镜像源。

   image:
     name: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-cloud-api-adaptor
     tag: 2274f17ad298088eeefa20fe4b3a58a350ceab4e
   
   resourceCtrl:
     image:
       repository: registry-cn-hangzhou.ack.aliyuncs.com/dev/peerpod-ctrl
       tag: v0.19.0
     authProxy:
       image: registry-cn-hangzhou.ack.aliyuncs.com/dev/kube-rbac-proxy:v0.14.0
   
   webhook:
     image:
       repository: registry-cn-hangzhou.ack.aliyuncs.com/dev/peer-pods-webhook
       tag: v0.19.0
     authProxy:
       image: registry-cn-hangzhou.ack.aliyuncs.com/dev/kube-rbac-proxy:v0.14.0
   
   kata-deploy:
     image:
       reference: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-kata-deploy
       tag: 3.28.0
     kubectlImage:
       reference: registry-cn-hangzhou.ack.aliyuncs.com/dev/kata-containers-kubectl
       tag: v0.19.0

5. 创建集群Secret，供CAA DaemonSet调用阿里云API创建TDX实例。

   替换${ALIBABA_CLOUD_ROLE_ARN}为RAM 角色ARN，${ALIBABA_CLOUD_OIDC_PROVIDER_ARN}为RRSA OIDC的提供商 ARN。

   kubectl create secret generic my-provider-creds \
       -n confidential-containers-system \
       --from-literal=ALIBABA_CLOUD_ROLE_ARN=${ALIBABA_CLOUD_ROLE_ARN} \
       --from-literal=ALIBABA_CLOUD_OIDC_PROVIDER_ARN=${ALIBABA_CLOUD_OIDC_PROVIDER_ARN} \
       --from-literal=ALIBABA_CLOUD_OIDC_TOKEN_FILE=/var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token

6. 部署CAA工作负载。

   helm dependency update
   helm install peerpods . \
       -f providers/alibabacloud.yaml \
       -f ./mirror-values.yaml \
       --set secrets.mode=reference \
       --set secrets.existingSecretName=my-provider-creds \
       --dependency-update \
       -n confidential-containers-system

   等待大概3分钟后，检查部署状态。

   kubectl -n confidential-containers-system get pod 

   预期输出：

   NAME                                             READY   STATUS    RESTARTS   AGE
   cloud-api-adaptor-daemonset-pnmpz                1/1     Running   0          20m
   cloud-api-adaptor-daemonset-qhlqk                1/1     Running   0          20m
   cloud-api-adaptor-daemonset-zpkt5                1/1     Running   0          20m
   kata-deploy-89x8h                                1/1     Running   0          20m
   kata-deploy-fcpb8                                1/1     Running   0          20m
   kata-deploy-jfkjg                                1/1     Running   0          20m
   peerpodctrl-controller-manager-bfdb466fb-xl8xc   2/2     Running   0          20m

   预期输出包含 kata-deploy-* 、 cloud-api-adaptor-daemonset-*和peerpodctrl-controller-manager-*组件，状态均为 Running，表明部署成功。