ACK容器环境中部署KMS Agent获取凭据

步骤一：构建KMS Agent可执行文件

1. 安装Golang环境。具体操作，请参见Go安装指南。

2. 下载源码和依赖。

   1. 请访问Git官网，下载并安装Git工具。

   2. 执行以下命令下载源码和依赖。

      git clone https://github.com/aliyun/alibabacloud-kms-agent
      go mod download

3. 在项目根目录下，执行go build .命令编译可执行文件。文件默认名称alibabacloud-kms-agent，默认保存在项目根目录下 。

   编译环境与部署环境一致，执行go build .命令即可。如果编译环境和部署环境不一致，请参考以下命令进行跨平台编译，生成64位可执行文件。

   编译环境	部署环境为Mac	部署环境为Linux	部署环境为Windows
   Mac	go build .	CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build .	CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build .
   Linux	CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build .	go build .	CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build .
   Windows	SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=amd64 go build .	SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=amd64 go build .	go build .

4. 在项目根目录下，查看是否存在可执行文件alibabacloud-kms-agent。

步骤二：启用ACK RRSA并授权其访问特定的凭据

1. 启用ACK RRSA功能。

   创建集群时开启

   创建ACK托管集群和ACK Edge集群时，您可以在集群配置的高级选项（选填）区域，选中开启RRSA功能。

   

   在集群信息页面开启

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择集群信息。

   3. 在基本信息页签的安全与审计区域，单击RRSA OIDC右侧的开启。

   4. 在弹出的启用RRSA对话框，单击确定。

      在基本信息区域，当集群状态由更新中变为运行中后，表明该集群的RRSA特性已变更完成。

2. 打开集群详情页，在基本信息页签的安全与审计区域，将鼠标悬浮至RRSA OIDC右侧已开启上面，查看提供商的URL链接和ARN信息。

3. 创建一个可信实体为身份提供商的RAM角色。

   1. 使用阿里云账号登录RAM控制台。

   2. 在左侧导航栏，选择身份管理 > 角色，然后在角色页面，单击创建角色。

   3. 在创建角色面板，选择可信实体类型为身份提供商，并单击切换编辑器。

   4. 在创建角色页面的可视化编辑，配置如下角色信息后，单击确定。

      配置项	描述
      效果	选择允许。
      主体	选择身份提供者。 身份提供者类型：选择OIDC。 身份提供者：开启RRSA后，ACK集群会默认创建身份提供者，命名格式为ack-rrsa-<cluster_id>。其中，<cluster_id>为您的集群ID。
      操作	保持默认。即勾选sts:AssumeRole。
      条件	在默认的oidc:iss和oidc:aud限制条件基础上，新增一个限制条件： 条件键：选择oidc:sub。 运算符：选择StringEquals。 条件值：system:serviceaccount:<namespace>:<serviceAccountName>。 <namespace>：应用所在的命名空间。 <serviceAccountName>：服务账户名称。 本文以system:serviceaccount:rrsa-dev:dev-sa为例， 其中 rsa-dev 是下一步需要创建 k8s namespace，dev-sa 是下一步需要创建的 k8s service account。

   5. 在创建角色对话框中，设置角色名称，然后单击确定。本文角色名称以dev-role-for-rrsa为例。

   6. 查看dev-role-for-rrsa这个RAM角色的信任策略。

      该策略表示允许特定的服务账户通过阿里云RRSA（RAM Roles for Service Accounts） ，在满足 OIDC 身份验证条件后，担任某个RAM角色。

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Condition": {
              "StringEquals": {
                "oidc:aud": [
                  "sts.aliyuncs.com"
                ],
                "oidc:iss": [
                  "https://oidc-ack-cn-hongkong.oss-cn-hongkong.aliyuncs.com/cf01******"
                ],
                "oidc:sub": [
                  "system:serviceaccount:rrsa-dev:dev-sa"
                ]
              }
            },
            "Effect": "Allow",
            "Principal": {
              "Federated": [
                "acs:ram::5269************:oidc-provider/ack-rrsa-cf01******"
              ]
            }
          }
        ],
        "Version": "1"
      }

4. 创建权限策略并授权给RAM角色。

   1. 权限策略名称以dev-role-for-rrsa-kms-policy为例，策略内容以仅允许访问带有env:dev 标签的凭据为例。

      权限策略内容如下所示：

      {
          "Version": "1",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "kms:Decrypt",
                      "kms:GetSecretValue"
                  ],
                  "Resource": "*",
                  "Condition": {
                      "StringEqualsIgnoreCase": {
                          "kms:tag/env": [
                              "dev"
                          ]
                      }
                  }
              }
          ]
      }

   2. 将dev-role-for-rrsa-kms-policy权限策略，授权给dev-role-for-rrsa角色。

步骤三：在ACK中创建Namespace和Service Account

Namespace将ACK集群划分为逻辑隔离的虚拟空间，用于区分开发、测试、生产等环境，不同Namespace中的应用默认无法互访资源，为RAM角色绑定提供物理边界。Service Account为Pod提供身份标识，通过RRSA机制与RAM角色动态绑定。

1. 通过YAML文件创建Namespace。

   Namespace名称以rrsa-dev为例，YAML文件名称以namespace.yaml为例。

   apiVersion: v1
   kind: Namespace
   metadata:
     name: rrsa-dev

2. 执行如下命令在ACK集群中创建名为 rrsa-dev 的 Namespace。

   kubectl apply -f namespace.yaml

   查看Namespace是否创建成功：

   kubectl get namespaces

   若输出包含rrsa-dev，即代表创建成功。

3. 通过YAML文件创建Service Account。

   Service Account名称以dev-sa为例，YAML文件名称以serviceaccount.yaml为例。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: dev-sa
     namespace: rrsa-dev

4. 执行如下命令在 rrsa-dev 中创建一个名为 dev-sa 的ServiceAccount。

   kubectl apply -f serviceaccount.yaml

   查看 ServiceAccount 是否创建成功：

   kubectl get serviceaccount -n rrsa-dev

   若输出包含 dev-sa，即代表创建成功。

步骤四：制作sidecar容器镜像

将KMS Agent作为sidecar容器与应用程序容器一起部署到阿里云的ACK容器服务。

1. 在config.toml中配置KMS Agent的运行参数。

   说明

   config.toml是Agent的配置文件，您可以在步骤一获取的alibabacloud-kms-agent源码的configs目录下查看到该文件。

   [Server]
   HttpPort = 2025
   
   [KMS]
   Region = "cn-hangzhou"
   
   [Cache]
   CacheType = "InMemory"
   CacheSize = 1000
   TtlSeconds = 300
   
   [Log]
   LogLevel = "Debug"
   LogPath = "./logs/"
   MaxSize = 100
   MaxBackups = 2

2. 创建Dockerfile文件。

   以Agent部署在deploy/ack/agent路径下为例，在该路径下创建Dockerfile。文件内容，请参考agent_Dockerfile。

   # Use the centos image as the base
   FROM centos:centos7
   
   # Set the working directory inside the container
   WORKDIR /usr/local/alibabacloudkmsagent
   
   # Copy the binary and config to the container
   COPY alibabacloud-kms-agent .
   COPY config.toml .
   
   # Set the entry point to run the kms agent
   ENTRYPOINT ["./alibabacloud-kms-agent", "agent", "./config.toml"]

3. 将步骤1和步骤2创建的文件拷贝到deploy/ack/agent目录下。

   deploy/ack/agent
   ├── alibabacloud-kms-agent
   ├── config.toml
   ├── Dockerfile.agent

4. 编译sidecar容器镜像并上传到阿里云镜像服务。

   # 编译
   docker build -t registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0 .
   # 上传
   docker push registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0

步骤五：制作业务容器镜像

1. 以业务应用部署在deploy/ack/app路径下为例，在该路径下编写应用容器镜像的Dockerfile。

   # Use the centos image as the base
   FROM centos:centos7
   
   # Set the working directory inside the container
   WORKDIR /
   
   # Set the entry point to run the kms agent
   ENTRYPOINT ["sleep", "360000"]

2. 编译应用容器镜像，并将镜像上传到阿里云镜像仓库。

   # 编译
   docker build -t registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:app-v1.0 .
   # 上传
   docker push registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:app-v1.0

步骤六：发布应用

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
  namespace: rrsa-dev
spec:
  replicas: 1
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      serviceAccountName: dev-sa
      containers:
      - name: kmsagent
        image: registry-vpc.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0
        env:
        - name: ALIBABA_CLOUD_ROLE_ARN
          value: acs:ram::<uid>:role/dev-role-for-rrsa
        - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
          value: acs:ram::<uid>:oidc-provider/ack-rrsa-<ackClusterId>
        - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
          value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
        - name: KMS_TOKEN
          value: file:///var/run/kmstoken/token
        volumeMounts:
          - name: shared-volume
            mountPath: /var/run/kmstoken
          - name: rrsa-oidc-token
            mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
            readOnly: true
        command: ["/bin/sh", "-c", "./alibabacloud-kms-agent token /var/run/kmstoken/token && ./alibabacloud-kms-agent agent config.toml"]
      - name: my-app
        image: registry-vpc.cn-hangzhou.aliyuncs.com/<ns/<repo>:app-v1.0
        volumeMounts:
          - name: shared-volume
            mountPath: /var/run/kmstoken
      volumes:
        - name: shared-volume
          emptyDir: {}
        - name: rrsa-oidc-token
          projected:
            defaultMode: 420
            sources:
            - serviceAccountToken:
               audience: sts.aliyuncs.com
               expirationSeconds: 3600
               path: token

步骤七：创建并获取凭据值

1. 在KMS创建凭据。

   本文示例中创建凭据时需要加上标签 env:dev，应用容器只能获取到有这个标签的凭据，没有权限获取其他凭据。

   1. 登录密钥管理服务控制台，在顶部菜单栏选择地域后，在左侧导航栏单击资源 > 凭据管理。

   2. 单击通用凭据页签，选择实例ID后，单击创建凭据，完成各项配置后单击确定。

      配置项	说明
      凭据名称	自定义的凭据名称。凭据名称在当前地域内唯一。
      设置凭据值	根据您要托管的敏感数据类型，选择凭据键/值或纯文本。 长度不超过30720字节（30KB）。
      初始版本号	凭据的初始版本号。默认为v1，也支持自定义版本号。
      加密主密钥	选择用于加密凭据值的密钥。 重要 密钥和凭据需要属于同一个KMS实例，且密钥必须为对称密钥。关于KMS支持哪些对称密钥，请参见密钥管理类型和密钥规格。 如果是RAM用户、RAM角色，需要具备使用加密主密钥执行GenerateDataKey操作的权限。
      标签	凭据的标签，方便您对凭据进行分类管理。每个标签由一个键值对（Key:Value）组成，包含标签键（Key）、标签值（Value）。 说明 标签键和标签值的格式：最多支持128个字符，可以包含英文大小写字母、数字、正斜线（/）、反斜线（\）、下划线（_）、短划线（-）、半角句号（.）、加号（+）、等于号（=）、半角冒号（:）、字符at（@）、空格。 标签键不能以aliyun或acs:开头。 每个凭据最多可以设置20个标签键值对。
      描述信息	凭据的描述信息。
      高级设置 > 策略配置	凭据的策略配置。详细介绍，请参见凭据策略概述。 您可以先选择默认策略，创建凭据后根据业务需要再修改策略。

2. 获取凭据值。

   • 使用curl命令。

     curl -v -H "X-Vault-Token:$(</var/run/kmstoken/token)" 'http://localhost:2025/secretsmanager/get?secretId=app/dev/secret-1'

   • 在业务代码里使用HTTP GET请求获取凭据。

     package main
     
     import (
     	"fmt"
     	"io/ioutil"
     	"net/http"
     )
     
     func main() {
     	url := fmt.Sprintf("http://localhost:2025/secretsmanager/get?secretId=%s", "app/dev/secret-1")
     
     	token, err := ioutil.ReadFile("/var/run/kmstoken/token")
     	if err != nil {
     		fmt.Printf("error reading token file: %v\n", err)
     	}
     
     	req, err := http.NewRequest("GET", url, nil)
     	if err != nil {
     		fmt.Printf("error creating request: %v\n", err)
     	}
     
     	req.Header.Add("X-KMS-Token", string(token))
     
     	client := &http.Client{}
     	resp, err := client.Do(req)
     	if err != nil {
     		fmt.Printf("error sending request: %v \n", err)
     	}
     	defer resp.Body.Close()
     
     	body, _ := ioutil.ReadAll(resp.Body)
     	fmt.Printf("status code %d - %s \n", resp.StatusCode, string(body))
     }