使用ack-secret-manager导入阿里云KMS服务凭据

ack-secret-manager支持以Kubernetes Secret实例的形式向集群导入或同步KMS凭据信息,确保您集群内的应用能够安全地访问敏感信息。通过该组件,您可以实现密钥数据的自动更新,使应用负载通过文件系统挂载指定Secret实例来使用凭据信息,同时帮助您解决负载应用和阿里云凭据管家交互的兼容性问题。

image

安全说明

通常情况下,用户的密钥会保存在文件中供应用程序读取,这种情况和通过阿里云KMS凭据管家直接读取密钥存在兼容性问题。ack-secret-manager可以解决此类兼容性问题,同时支持将密钥同步创建为集群中的Kubernetes原生Secrets实例,以供环境变量挂载使用。使用前请您评估如下的安全风险。

  • 当密钥在文件系统中可以被访问时,如果应用中存在某些有缺陷的软件,该软件的漏洞可能会造成目录遍历的风险,导致敏感信息泄露。

  • 由于一些Debug端点或Logs权限的误配置都可能导致密钥泄露,所以通过环境变量挂载引用的方式消费密钥是一个不安全且不推荐的方式。

  • 当开启Secret实例同步特性时,需要基于权限最小化原则严格控制访问权限。

鉴于上述原因,如果应用中并不需要密文的持久化存储,推荐通过RRSA配置ServiceAccount的RAM权限实现Pod权限隔离为应用配置Pod维度的最小化权限,并通过GetSecretValue直接在应用中获取密钥凭据,以减少密钥内容在Pod文件系统或Kubernetes集群Secrets中的暴漏风险。

前提条件

步骤一:安装ack-secret-manager组件

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > Helm

  3. Helm页面,单击创建,在Chart区域搜索并选中ack-secret-manager,其他设置保持默认,然后单击下一步

    根据弹出的页面提示确认,组件将被安装在默认的kube-system命名空间中,并以组件名称发布应用。如果您需要自定义应用名和命名空间,请根据页面提示设置。

  4. 参数配置页面,选择Chart版本为最新版本,并设置相应参数,然后单击确定

    • 如需开启RRSA认证功能,您需要将参数rrsa.enable设置为trueimage

    • 如需开启定时同步凭据功能,您需要配置如下参数。image

      • command.disablePolling:是否关闭凭据的自动轮询功能,设置为false,开启凭据自动轮询功能。

      • command.pollingInterval:凭据同步的频率,设置为120s,此处以两分钟同步一次凭据为例,您可以根据实际需求调整。

    • 配置限流参数:如果您集群中具有较多的ExternalSecret(待同步的 KMS 凭据),配置不当可能会引发KMS或RAM侧的限流,因此,您需要配置以下限流参数避免发生限流。imagecommand.maxConcurrentKmsSecretPulls:每秒可以同步的最大KMS凭据数量,默认为10。

    创建成功后,会自动跳转到目标集群的ack-secret-manager页面,检查安装结果。若下图中所有资源创建成功,则表明组件安装成功。image.png

步骤二:配置组件认证信息

您需要通过自定义资源SecretStore来配置ack-secret-manager的认证信息,以确保该组件有权限获取KMS服务中的凭据信息,否则ack-secret-manager将无法向集群中导入或同步凭据信息。您可以根据集群类型选择如下三种授权方式进行配置。

通过RRSA授权

RRSA适用于1.22及以上版本的ACK托管集群ACK Serverless集群。相比其他授权方式,RRSA授权方式可以实现Pod维度的权限隔离,还可以避免直接使用AK、SK引起的凭据泄露风险。

  1. 容器服务管理控制台开启集群的RRSA功能。具体操作,请参见启用RRSA功能

  2. 说明

    安装ack-secret-manager时,需要将参数rrsa.enable设置为true,以启用RRSA功能。

  3. 创建可信实体为身份提供商的RAM角色,以供ack-secret-manager使用。

    1. 使用阿里云账号(主账号)登录RAM控制台

    2. 说明

      阿里云账号(主账号)对账号中的资源具有完全管理权限,您也可以在RAM中创建一个RAM用户,授予AdministratorAccess权限,充当账号管理员,该管理员可以对账号下所有云资源进行管控操作。更多信息,请参见创建RAM用户作为账号管理员

    3. 在左侧导航栏,选择身份管理 > 角色

    4. 角色页面,单击创建角色

    5. 创建角色页面,选择可信实体类型为身份提供商,然后单击下一步

    6. 在配置角色页面,配置如下角色信息后,单击完成

    7. 配置项

      描述

      角色名称

      自定义角色名称。

      备注

      选填有关该角色的备注信息。

      身份提供商类型

      OIDC

      选择身份提供商

      ack-rrsa-<cluster_id>。其中,<cluster_id>为您的集群ID。

      限制条件

      • oidc:iss:保持默认。

      • oidc:aud:选择sts.aliyuncs.com

      • oidc:sub:条件判定方式选择StringEquals,值的格式为system:serviceaccount:<namespace>:<serviceAccountName>

        • <namespace>:应用所在的命名空间。

        • <serviceAccountName>:服务账户名称。

      • 根据测试应用的信息,此处需要填入system:serviceaccount:kube-system:ack-secret-manager

      • 说明

        如果您将ack-secret-manager安装在其他的命名空间,请将kube-system替换为对应命名空间的名称。

  4. 创建自定义授权策略并为上一步创建的RAM角色授权。

    1. 创建ack-secret-manager导入KMS凭据时所需的权限策略。

    2. 策略内容如下。具体操作,请参见创建自定义权限策略

    3. {
          "Action": [
             "kms:GetSecretValue",
             "kms:Decrypt"
          ],
          "Resource": [
              "*"
          ],
          "Effect": "Allow"
      }
    4. 为上一步创建的RAM角色授权。具体操作,请参见为RAM角色授权

  5. 创建自定义资源SecretStore关联对应的认证方式并部署。

    1. 使用以下内容,替换相关字段后,创建secretstore-rrsa.yaml文件。

      • {accountID}:替换为同步KMS凭据的阿里云账号ID。

      • {clusterID}:替换为您的集群ID。

      • {roleName}:替换为步骤2中创建的RAM角色名称。

    2. apiVersion: 'alibabacloud.com/v1alpha1'
      kind: SecretStore
      metadata:
        name: scdemo-rrsa
      spec:
        KMS:
          KMSAuth:
            oidcProviderARN: "acs:ram::{accountID}:oidc-provider/ack-rrsa-{clusterID}"
            ramRoleARN: "acs:ram::{accountID}:role/{roleName}"	                     
    3. 执行以下命令,部署SecretStore。

    4. kubectl apply -f secretstore-rrsa.yaml

为集群对应的Worker RAM角色添加权限

由于ACK Serverless集群没有绑定Worker RAM角色,该方式只适用于ACK托管集群ACK专有集群ACK注册集群

  1. 创建如下自定义权限策略。具体操作,请参见创建自定义权限策略

  2. {
      "Action": [
        "kms:GetSecretValue",
        "kms:Decrypt"
      ],
      "Resource": [
        "*"
      ],
      "Effect": "Allow"
    }
    
  3. 为集群的Worker RAM角色添加上一步创建的自定义权限。具体操作,请参见为集群的Worker RAM角色授权

通过设置AK扮演指定RAM角色

适用于所有容器服务Kubernetes集群。

  1. 创建可信实体为阿里云账号的RAM角色,以供ack-secret-manager组件使用。具体操作,请参见创建可信实体为阿里云账号的RAM角色

  2. 创建自定义授权策略并为上一步已创建的RAM角色授权。

    1. 创建访问KMS服务凭据所需的权限策略。

    2. 策略内容如下。具体操作,请参见创建自定义权限策略

    3. {
        "Action": [
          "kms:GetSecretValue",
          "kms:Decrypt"
        ],
        "Resource": [
          "*"
        ],
        "Effect": "Allow"
      }
      
    4. 为上一步已创建的RAM角色授权。具体操作,请参见为RAM角色授权

  3. 创建扮演上述角色的自定义授权策略,并为指定的RAM用户授权。

    1. 创建扮演上述角色的自定义授权策略。

    2. 策略内容如下。具体操作,请参见创建自定义权限策略

      {
          "Statement": [
              {
                  "Action": "sts:AssumeRole",
                  "Effect": "Allow",
                  "Resource": "acs:ram::***:role/****"  # 方式三的步骤1创建的RAM角色ARN。
              }
          ],
          "Version": "1"
      }
    3. 为指定的RAM用户授权。具体操作,请参见为RAM用户授权

  4. 创建Secret用于存放指定RAM用户的AK、SK信息。

    1. 使用以下内容,替换您的AK、SK的Base64编码信息后,创建ramuser.yaml文件。

      apiVersion: v1
      data:
        accessKey: {AK base64编码}
        accessKeySecret: {SK base64 编码}
      kind: Secret
      metadata:
        name: ramuser
        namespace: kube-system
      type: Opaque
    2. 执行以下命令,创建名为ramuser的Secret。

      kubectl apply -f ramuser.yaml
  5. 创建自定义资源SecretStore关联对应的认证方式并部署。

    1. 使用以下内容,替换相关字段后,创建secretstore-ramrole.yaml文件。

      • {accountID}:替换为同步KMS凭据的阿里云账号ID。

      • {roleName}:替换为步骤1中创建的RAM角色名称。

      • {secretName} :替换为存储AK、SK的Secret名称。

      • {secretNamespace} :替换为存储AK、SK的Secret的Namespace。

      • {secretKey} :替换为存储AK、SK的Secret Key。

      • {roleSessionName} :替换为角色会话名称(自定义字符串)。

    2. apiVersion: 'alibabacloud.com/v1alpha1'
      kind: SecretStore
      metadata:
        name: scdemo-ramrole
      spec:
        KMS:
          KMSAuth:
            accessKey:
              name: {secretName}
              namespace: {secretNamespace}
              key: {secretKey}
            accessKeySecret:
              name: {secretName}
              namespace: {secretNamespace}
              key: {secretKey}
            ramRoleARN: "acs:ram::{accountID}:role/{roleName}"  
            ramRoleSessionName: {roleSessionName}
    3. 执行以下命令,部署SecretStore。

    4. kubectl apply -f secretstore-ramrole.yaml

步骤三:配置数据同步信息

认证信息配置完成后,您需要通过自定义资源ExternalSecret来配置待访问的KMS凭据信息,从而将KMS凭据导入到Kubernetes Secret。

说明

KMS凭据导入的Kubernetes Secret的命名空间、名称均与ExternalSecret的命名空间、名称一致。

  1. 创建自定义资源ExternalSecret并部署。

    1. 使用以下内容,替换相关字段后,创建external.yaml文件。

      参数

      替换说明

      {KMS secret name}

      替换为目标KMS凭据名称。

      {Kubernetes secret key}

      为一系列键值对的集合。KMS的单条凭据会存放在Kubernetes Secret Data的某一条键值对中,需将{Kubernetes secret key}替换为目标键值对的键。

      {KMS secret version stage}

      替换为KMS凭据的版本状态(并非凭据的版本号),例如ACSCurrent。

      如需指定KMS凭据版本号进行同步,请将以下模板中的versionStage字段替换为versionId,并填入KMS凭据版本号。

      {secret store name}

      替换为对应SecretStore的名称,表示使用某个认证配置来导入目标KMS凭据。

      {secret store namespace}

      替换为对应SecretStore的Namespace。

      apiVersion: 'alibabacloud.com/v1alpha1'
      kind: ExternalSecret
      metadata:
        name: esdemo
      spec:
        provider: kms # 需要同步的阿里云服务类型,默认是kms,当同步KMS凭据时,可以不填写该字段或者指定字段值为 kms
        data: # 无需特殊处理的数据源。
          - key: {KMS secret name}
            name: {Kubernetes secret key}
            versionStage: {KMS secret version stage}
            secretStoreRef:
              name: {secret store name}
              namespace: {secret store namespace}
    2. 执行以下命令,部署ExternalSecret。

      kubectl apply -f external.yaml
  2. 执行以下命令,查看集群中是否存在对应的Kubernetes Secret。

    kubectl get secret esdemo

    查询存在Secret,表明Secret同步成功。

ack-secret-manager组件更多高级用法

跨账号同步凭据

如果您的KMS实例与集群不在同一个阿里云账号中,您需要将KMS凭据跨账号同步到集群中。ack-secret-manager支持跨账号同步凭据。下文以RRSA认证方式为例,介绍如何将账号A中的KMS实例导入账号B的集群中。

KMS实例所在账号A下的配置步骤

  1. 创建信任集群所在账号的RAM角色。具体操作,请参见创建可信实体为阿里云账号的RAM角色

    重要

    在选择信任的云账号时,选择其他云账号,填入集群所在的阿里云账号B的账号ID。

  2. 创建访问KMS服务凭据所需的权限策略。

    策略内容如下。具体操作,请参见创建自定义权限策略

    {
        "Action": [
           "kms:GetSecretValue",
           "kms:Decrypt"
        ],
        "Resource": [
            "*"
        ],
        "Effect": "Allow"
    }
  3. 为上一步创建的RAM角色授权。具体操作,请参见为RAM角色授权

集群所在账号B下的配置步骤

  1. 容器服务管理控制台开启集群的RRSA功能。具体操作,请参见启用RRSA功能

  2. 创建可信实体为身份提供商的RAM角色,以供ack-secret-manager使用。

    1. 使用阿里云账号(主账号)登录RAM控制台

    2. 说明

      阿里云账号(主账号)对账号中的资源具有完全管理权限,您也可以在RAM中创建一个RAM用户,授予AdministratorAccess权限,充当账号管理员,该管理员可以对账号下所有云资源进行管控操作。更多信息,请参见创建RAM用户作为账号管理员

    3. 在左侧导航栏,选择身份管理 > 角色

    4. 角色页面,单击创建角色

    5. 创建角色页面,选择可信实体类型为身份提供商,然后单击下一步

    6. 在配置角色页面,配置如下角色信息后,单击完成

    7. 配置项

      描述

      角色名称

      自定义角色名称。

      备注

      选填有关该角色的备注信息。

      身份提供商类型

      OIDC

      选择身份提供商

      ack-rrsa-<cluster_id>。其中,<cluster_id>为您的集群ID。

      限制条件

      • oidc:iss:保持默认。

      • oidc:aud:选择sts.aliyuncs.com

      • oidc:sub:条件判定方式选择StringEquals,值的格式为system:serviceaccount:<namespace>:<serviceAccountName>

        • <namespace>:应用所在的命名空间。

        • <serviceAccountName>:服务账户名称。

      • 根据测试应用的信息,此处需要填入system:serviceaccount:kube-system:ack-secret-manager

      • 说明

        如果您将ack-secret-manager安装在其他的命名空间,请将kube-system替换为对应命名空间的名称。

  3. 创建自定义授权策略并为上一步账号B下创建的RAM角色授权。

  4. 创建ack-secret-manager导入KMS凭据时所需的权限策略。

    策略内容如下,其中,Resource为在KMS所在账号A下创建的RAM角色的ARN。具体操作,请参见创建自定义权限策略

    {
      "Statement": [
        {
          "Action": "sts:AssumeRole",
          "Effect": "Allow",
          "Resource": "acs:ram::***:role/****" # KMS所在账号A下的RAM角色的ARN。
        }
      ],
      "Version": "1"
    }
  5. 为上一步在账号B下创建的RAM角色授权。具体操作,请参见为RAM角色授权

  6. 创建自定义资源SecretStore并部署。

    1. 使用以下内容,替换相关字段后,创建secretstore-ramrole.yaml文件。

      • {ACK-accountID}:替换为集群所在的阿里云账号B的账号ID。

      • {clusterID}:替换为您的集群ID。

      • {ACK-roleName}:替换为集群所在的阿里云账号B下创建的RAM角色的名称。

      • {KMS-accountID}:替换为KMS实例所在的阿里云账号A的账号ID。

      • {KMS-roleName}:替换为KMS实例所在的阿里云账号A下创建的RAM角色的名称。

      • {roleSessionName}:替换为角色会话名称(自定义字符串)。

      apiVersion: 'alibabacloud.com/v1alpha1'
      kind: SecretStore
      metadata:
        name: scdemo-cross-account
      spec:
        KMS:
          KMSAuth:
            oidcProviderARN: "acs:ram::{ACK-accountID}:oidc-provider/ack-rrsa-{clusterID}"
            ramRoleARN: "acs:ram::{ACK-accountID}:role/{ACK-roleName}"
            remoteRamRoleARN: "acs:ram::{KMS-accountID}:role/{KMS-roleName}"
            remoteRamRoleSessionName: {roleSessionName}
  7. 配置数据同步信息。具体操作,请参见步骤三:配置数据同步信息

凭据解析与Key替换

JSON中指定的Key解析

如果您需要解析一个JSON格式的KMS Secret,并将其中指定的key-value键值对同步到Kubernetes Secret中,可以使用JMESPath字段。以下是一个使用JMESPath字段的样例,例如,如果您在KMS凭据管家中有如下JSON格式的Secret。

{"name":"tom","friends":[{"name":"lily"},{"name":"mark"}]}

对应的ExternalSecret样例如下。当您使用JMESPath字段时,必须指定以下两个子字段:

  • path:必选项,基于JMESPath规范解析JSON中的指定字段。

  • objectAlias:必选项,用于指定解析出的字段同步Kubernetes Secret中的Key名称。

apiVersion: 'alibabacloud.com/v1alpha1'
kind: ExternalSecret
metadata:
  name: es-json-demo
spec:
  provider: kms
  data: 
    - key: {KMS secret name}
      versionStage: {KMS secret version stage}
      secretStoreRef:
        name: {secret store name}
        namespace: {secret store namespace}
      jmesPath: # Parse some fields in json string
        - path: "name"
          objectAlias: "myname"
        - path: "friends[0].name"
          objectAlias: "friendname"

JSON自解析

如果您不知道凭据的具体结构,但还需要将JSON凭据解析后再存储在Secret中,您可以定义dataProcess.extract字段采用JSON自解析功能,同时还可以定义dataProcess.replaceRule字段,针对解析后的字段键进行规则替换,以防止不规则的Secret data key导致无法创建Secret。

例如,如果您在KMS凭据管家中有如下JSON格式的Secret。

{"/name-invalid":"lily","name-invalid/":[{"name":"mark"}]}

对应的ExternalSecret样例如下。

apiVersion: 'alibabacloud.com/v1alpha1'
kind: ExternalSecret
metadata:
  name: extract-secret
spec:
  provider: kms
  dataProcess:
    - extract:
        key: {KMS secret name}
        versionStage: ACSCurrent # KMS凭据版本。
        secretStoreRef:
          name: {secret store name}
          namespace: {secret store namespace}
      replaceRule: # 替换规则。
        - source: "^/.*d$" # 替换以“/“开头以”d“结尾的key为tom。
          target: "tom"
        - source: "^n.*/$" # 替换以”n“开头以”/“结尾的key为mark。
          target: "mark"

相关文档

为了保护从KMS读取后缓存在ACK集群中的Secret,您可以对ACK集群Secret进行一键加密。具体操作,请参见使用阿里云KMS进行Secret的落盘加密