【技术预览】创建支持TDX物理机机密沙箱容器的ACK节点池

部署普通应用

1. 将以下内容保存为hello-tdx.yaml。

   apiVersion: v1
   kind: Pod
   metadata:
     name: hello-tdx
   spec:
     runtimeClassName: kata-dragonball-tdx
     containers:
     - name: hello
       image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3:latest
       imagePullPolicy: Always
       command:
        - sh
        - -c
        - 'echo hello && sleep infinity'

2. 执行以下命令，在TDX节点上部署一个名为hello-tdx、使用CoCo机密容器的应用。

   kubectl apply -f hello-tdx.yaml

   预期输出：

   pod/hello-tdx created

3. 验证Pod对应的Kata虚拟机内存是否加密。

   基于TDX安全特性实现的CoCo机密容器方案中，每个Pod对应的Kata虚拟机的内存是加密的。可以通过以下方式进行验证。

   1. 登录部署当前应用的TDX节点。

   2. 执行以下命令，找到应用对应的Kata虚拟机进程。

      ps -ef|grep qemu-system-x86_64-tdx

      预期输出：

      root     3097264 3097253  3 16:22 ?        00:00:04 /opt/kata/bin/qemu-system-x86_64-tdx-experimental 

      记录此处进程实际PID，即预期输出的第二个值，例如3097264，供下一步使用。

   3. 执行以下命令，验证Kata虚拟机内存是否加密。

      需将<pid>替换为上一步预期输出中的进程PID。

      gcore <pid>
      strings core.<pid> |grep sleep

      命令执行完成后，grep命令的预期输出为空，表明core.<pid>文件中的内存数据中不包含应用的启动命令。普通容器未加密时，coredump文件中会包含对应的应用启动命令以及其他敏感内存数据。

部署使用对象存储OSS的应用

CoCo机密容器方案支持直接在Kata虚拟机中挂载应用依赖的OSS Bucket。相较于传统方式下在节点上挂载OSS Bucket，CoCo机密容器方案安全性更高。

1. 在华北2（北京）地域创建一个测试用的OSS Bucket。具体操作，请参见创建存储空间。

2. 准备一个拥有OSS测试Bucket读写操作权限的RAM用户，并记录此RAM用户的Access Key和Access Key Secret。

   相关操作，请参见创建RAM用户、为RAM用户授权、查看RAM用户的AccessKey信息。

3. 执行以下命令，将RAM用户的Access Key和Access Key Secret存储到KBS中。

   CoCo机密容器方案也支持将OSS访问凭证存储到阿里云密钥管理服务KMS中。更多信息，请参见Confidential Containers官方文档。

   需将<akid>替换为RAM用户的Access Key，<akSecret>替换为RAM用户的Access Key Secret。

   echo -n '<akid>' > akId.txt
   echo -n '<akSecret>' > akSecret.txt
   
   kubectl -n coco-kbs create secret generic kbs-resource-oss-keys \
   --from-file default.credential.oss-akId=akId.txt \
   --from-file default.credential.oss-akSecret=akSecret.txt
   
   kubectl -n coco-kbs label secret kbs-resource-oss-keys coco-kbs-resource=true

4. 执行以下命令，创建引用这个凭证的Sealed Secret。

   Sealed Secret是CoCo机密容器社区提出的一种Secret加密方案。

   展开查看完整代码

   cat <<EOF > vault-kbs-oss-ak.json
   {
     "version": "0.1.0",
     "type": "vault",
     "name": "kbs:///default/credential/oss-akId",
     "provider": "kbs",
     "provider_settings": {},
     "annotations": {}
   }
   EOF
   
   cat <<EOF > vault-kbs-oss-sk.json
   {
     "version": "0.1.0",
     "type": "vault",
     "name": "kbs:///default/credential/oss-akSecret",
     "provider": "kbs",
     "provider_settings": {},
     "annotations": {}
   }
   EOF
   
   cat <<EOF > vault-kbs-gocryptfs-passwd.json
   {
     "version": "0.1.0",
     "type": "vault",
     "name": "kbs:///default/credential/oss-gocryptfs-passwd",
     "provider": "kbs",
     "provider_settings": {},
     "annotations": {}
   }
   EOF
   
   printf "sealed.fakejwsheader.%s.fakejwssignature" `cat vault-kbs-oss-ak.json | base64 -w 0` > sealed-akId.txt
   
   printf "sealed.fakejwsheader.%s.fakejwssignature" `cat vault-kbs-oss-sk.json | base64 -w 0` > sealed-akSecret.txt
   
   kubectl create secret generic sealed-secret-oss \
   	--from-file akId=sealed-akId.txt \
   	--from-file akSecret=sealed-akSecret.txt

5. 将以下内容保存为coco-oss-direct-assigned.yaml，用于在CoCo机密容器环境中部署名为oss-direct-assigned、使用OSS的应用。

   需将<bucket_name>替换为您OSS Bucket的名称。

   展开查看完整的YAML文件

   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss-direct-assigned
     labels:
       alicloud-pvname: pv-oss-direct-assigned
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss-direct-assigned
       volumeAttributes:
         direct: "true"
         bucket: "<bucket_name>"
         url: "oss-cn-beijing.aliyuncs.com"
         otherOpts: "-o max_stat_cache_size=0 -o allow_other"
         path: "/"
       nodePublishSecretRef:
         namespace: default
         name: sealed-secret-oss
   
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss-direct-assigned
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss-direct-assigned
   
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: oss-direct-assigned
   spec:
     runtimeClassName: kata-dragonball-tdx
     containers:
     - image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3:latest
       imagePullPolicy: Always
       name: hello
       command:
        - sh
        - -c
        - 'echo hello && sleep infinity'
       volumeMounts:
         - name: pvc-oss
           mountPath: "/data"
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss-direct-assigned

6. 执行以下命令，部署示例应用。

   kubectl apply -f coco-oss-direct-assigned.yaml

   预期输出：

   persistentvolume/pv-oss-direct-assigned created
   persistentvolumeclaim/pvc-oss-direct-assigned created
   pod/oss-direct-assigned created

   应用成功运行后，Pod容器内的/data目录将挂载您所指定的OSS Bucket目录下的内容。您还可以登录部署应用的TDX节点，确认节点下并未挂载对应的OSS Bucket。

部署使用加密镜像的应用

您可以通过以下步骤创建一个加密镜像，再将其部署到使用机密容器的节点池中。

1. 在华北2（北京）地域创建一个ACR企业版实例。具体操作，请参见创建企业版实例。同时，还需完成使用ACR企业版实例的前置工作，包括绑定源代码平台、创建命名空间、创建镜像仓库等。具体操作，请参见使用企业版实例构建镜像的步骤一至三。

2. 下载并安装skopeo命令行工具。具体操作，请参见skopeo。

   skopeo是一个用于在容器镜像之间复制、转换和检查的命令行工具。

3. 配置skopeo。

   1. 执行以下命令，获取步骤三所部署的Keyprovider服务的对外访问地址。

      kubectl -n coco-kbs get svc keyprovider-slb-public

      预期输出：

      NAME                       TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)           AGE
      keyprovider-slb-public     LoadBalancer   192.168.X.X      10.1.X.X      60001:31195/TCP   4h41m

      记录此处的EXTERNAL-IP供下一步使用。

   2. 通过以下命令配置skopeo。

      需将<keyprovider_ip>替换为上一步获取到的EXTERNAL-IP。

      $ cat ocicrypt_keyprovider.conf
      {
              "key-providers": {
                      "attestation-agent": {
                          "grpc": "<keyprovider_ip>:60001"
      
                      }
              }
      }
      
      
      $ export OCICRYPT_KEYPROVIDER_CONFIG=ocicrypt_keyprovider.conf

4. 推送一个加密镜像。

   1. 执行以下命令，下载示例镜像。

      skopeo copy --all \
          docker://alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3:latest \
      		oci:raw-alinux3:latest

      预期输出：

      Getting image list signatures
      Copying 2 of 2 images in list
      Copying image sha256:4c1f42a5e24d337e291d1120ce94ed8e4b3ed7333d788b2a8c6804********** (1/2)
      Getting image source signatures
      Copying blob 66727bf7**** done
      Copying blob 4ce27f50**** done
      Copying config 007dd1**** done
      Writing manifest to image destination
      Storing signatures
      Copying image sha256:7e9391ad510b008c18f285827b71cbb942f8b878c954dd12923dbc********** (2/2)
      Getting image source signatures
      Copying blob ad0b3bcf**** done
      Copying blob 2b2d78fe**** done
      Copying config 64720e**** done
      Writing manifest to image destination
      Storing signatures
      Writing manifest list to image destination
      Storing list signatures

   2. 执行以下命令，登录ACR镜像仓库。

      需将<acr_ee_registry>替换为您的ACR企业版实例的访问域名。您可以在ACR实例详情页的左侧导航栏，选择仓库管理>访问控制，获取专有网络或公网访问域名。

      使用专有网络域名时，需保证命令执行环境与ACR实例所处的专有网络环境互通。

      展开查看如何配置镜像仓库专有网络

      在访问控制页面，单击添加专有网络，选择ACK集群的专有网络和镜像节点的交换机，然后单击确定。

      添加后，等待专有网络列表的状态列变更为已生效，表明添加成功。

      说明

      您可以登录容器服务管理控制台，在集群列表页面，单击目标集群名称，按照如下步骤获取相应地址。

      • 获取ACK集群专有网络：在左侧导航栏，选择集群信息，然后单击集群资源页签，查看集群虚拟专有网络VPC地址。

      • 获取镜像节点的交换机：在左侧导航栏，选择节点管理 > 节点池，单击目标节点池名称，然后单击基本信息页签，在节点配置区域，获取节点虚拟交换机地址。

      skopeo login <acr_ee_registry>

   3. 执行以下命令，加密示例镜像，然后将加密镜像推送到您的镜像仓库中。

      需将<acr_ee_registry>替换为ACR企业版实例的访问域名，<acr_namespace>替换为加密镜像所属的命名空间。

      skopeo copy --encryption-key provider:attestation-agent --all \
          oci:raw-alinux3:latest  \
          docker://<acr_ee_registry>/<acr_namespace>/encrypted-alinux3:latest

      预期输出：

      Getting image list signatures
      Copying 2 of 2 images in list
      Copying image sha256:1170c7c5e3a58bce9d9be9b55a40aa1f15de685c074b99928b938c0********** (1/2)
      Getting image source signatures
      Copying blob 4ce27f5**** done
      Copying blob 66727bf**** done
      Copying config 007dd**** done
      Writing manifest to image destination
      Storing signatures
      Copying image sha256:f3a57e83afad5bca8a3515e175e4f4108677a0083cb326d139ac7b9********** (2/2)
      Getting image source signatures
      Copying blob 2b2d78fe**** done
      Copying blob ad0b3bcf**** done
      Copying config 64720e**** done
      Writing manifest to image destination
      Storing signatures
      Writing manifest list to image destination
      Storing list signatures

5. 执行以下命令，确认推送的镜像已加密。

   需将<acr_ee_registry>替换为ACR企业版实例的访问域名，<acr_namespace>替换为加密镜像所属的命名空间。

   docker pull <acr_ee_registry>/<acr_namespace>/encrypted-alinux3:latest

   预期输出：

   latest: Pulling from <acr_namespace>/encrypted-alinux3
   9276d588****: Extracting [==================================================>]  62.17MB/62.17MB
   3e722277****: Download complete
   failed to register layer: Error processing tar file(exit status 1): archive/tar: invalid tar header

6. 执行以下命令，为CoCo机密容器配置镜像拉取密码。

   需将<auth>替换为ACR实例的镜像拉取凭证。该凭证的格式为：base64编码后的用户名:密码字符串，不包括换行符。您可以通过命令echo -n 用户名:密码 | base64 -w 0来生成。

   $ cat  image-auths.json
   {
       "auths": {
           "imgcrypt-demo-registry.cn-beijing.cr.aliyuncs.com": {
               "auth": "<auth>"
           }
       }
   }
   
   
   kubectl -n coco-kbs create secret generic kbs-resource-image-auths \
   --from-file default.credential.image-auths.json=image-auths.json
   
   kubectl -n coco-kbs label secret kbs-resource-image-auths coco-kbs-resource=true

7. 执行以下命令，部署名为encrypted-alinux3、使用加密镜像的应用。

   需将<acr_ee_registry>替换为ACR企业版实例的访问域名，<acr_namespace>替换为加密镜像所属的命名空间。

   $ cat encrypted-alinux3.yaml
   apiVersion: v1
   kind: Pod
   metadata:
     name: encrypted-alinux3
   spec:
     runtimeClassName: kata-dragonball-tdx
     containers:
     - name: hello
       image: <acr_ee_registry>/<acr_namespace>/encrypted-alinux3:latest
       command:
        - sh
        - -c
        - 'echo hello && sleep infinity'
   
   $ kubectl apply -f encrypted-alinux3.yaml

8. 等待几分钟后，执行以下命令查看应用是否已部署成功。

   $ kubectl get pod encrypted-alinux3

   预期输出：

   NAME                READY   STATUS    RESTARTS   AGE
   encrypted-alinux3   1/1     Running   0          1m