通过RRSA配置ServiceAccount的RAM权限实现Pod权限隔离

背景信息

ECS实例元数据包含了在阿里云系统中关于ECS实例（ECI实例基于ECS实例实现）的详细信息。您可以在运行中的实例内部访问这些元数据，从而配置或管理实例。通过实例元数据，Kubernetes集群内应用可以获取实例RAM角色策略生成的STS临时凭证，并通过这些临时凭证访问云资源OpenAPI。更多信息，请参见实例元数据。

出于安全考虑，当您需要限制集群内不同应用的RAM权限时，应禁止这些应用通过ECS或ECI实例元数据获取您的实例关联角色对应的临时凭证，或者不为实例关联角色分配任何RAM权限策略。然而，这些应用仍然需要一种安全的途径去获取访问云资源的临时凭证。因此，阿里云容器服务ACK联合RAM访问控制服务推出了RRSA功能。

基于RRSA功能，您可以在集群内实现Pod级别隔离的应用关联RAM角色功能。各个应用可以扮演独立的RAM角色并使用获取的临时凭证访问云资源，从而实现应用RAM权限最小化以及无AccessKey访问阿里云OpenAPI避免AccessKey泄露的需求。

使用限制

RRSA功能目前仅支持1.22及以上版本的集群，即ACK托管集群基础版、ACK托管集群Pro版、ACK Serverless集群基础版、ACK Serverless集群Pro版和ACK Edge集群Pro版。

启用RRSA功能

若未创建集群，您可以在创建ACK托管集群和ACK Edge集群时开启，若已创建集群，可在集群信息页面的安全与审计页签下开启。

集群开启RRSA功能后，ACK将在后台执行如下操作。

• 自动创建一个集群专用的OIDC Issuer服务。该服务由ACK托管，无需您运维。更多信息，请参见OIDC Issuer。

• 修改当前集群的服务账户令牌卷投影功能的配置，使用本次创建的OIDC Issuer配置合并集群已有的service-account-issuer参数的值。更多信息，请参见使用ServiceAccount Token卷投影。

• 在您的账号下创建一个使用该OIDC Issuer的OIDC身份提供商，名称为ack-rrsa-<cluster_id>，其中 <cluster_id>为您的集群ID。更多信息，请参见管理OIDC身份提供商。

使用RRSA功能

集群开启RRSA功能后，您可以参考以下内容，赋予集群内应用通过RRSA功能获取访问云资源OpenAPI的临时凭证的能力。

使用示例

本示例部署的应用将使用RRSA功能扮演指定角色，获取当前账号下集群列表信息。

示例配置

• 命名空间：rrsa-demo

• ServiceAccount：demo-sa

• RAM角色：demo-role-for-rrsa

示例流程

• 如果您希望通过不安装ack-pod-identity-webhook组件的方式使用RRSA功能，您可以手动修改应用模板挂载应用所需的OIDC Token文件并配置相关环境变量。具体操作，请参见手动修改应用模板使用RRSA功能。

• 如果您希望使用已存在的RAM角色，不创建新的RAM角色，您可以为已有RAM角色新增相关权限。具体操作，请参见使用已存在的RAM角色并授权。

1. 安装ack-pod-identity-webhook组件。

   1. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > 组件管理。

   2. 在组件管理页面，单击安全页签，找到ack-pod-identity-webhook组件，单击组件右下方的安装。

   3. 在提示对话框确认组件信息后，单击确定。

2. 创建一个名为demo-role-for-rrsa的RAM角色。主要参数说明如下，具体操作，请参见创建OIDC身份提供商的RAM角色。

   配置项	描述
   身份提供者类型	OIDC。
   身份提供者	选择ack-rrsa-<cluster_id>。其中，<cluster_id>为您的集群ID。
   条件	oidc:iss：保持默认。 oidc:aud：保持默认。 oidc:sub：需手动添加该条件。 条件键：选择oidc:sub。 运算符：选择StringEquals。 条件值：输入system:serviceaccount:<namespace>:<serviceAccountName>。其中，<namespace>为应用所在的命名空间。<serviceAccountName>为服务账户名称。根据本文测试应用的信息，此处需填入system:serviceaccount:rrsa-demo:demo-sa。
   角色名称	demo-role-for-rrsa。

3. 为步骤2创建的角色授予测试应用所需的AliyunCSReadOnlyAccess系统策略权限。具体操作，请参见为RAM角色授权。

4. 部署测试应用。关于测试应用的参考代码，请参见阿里云官方SDK使用RRSA OIDC Token的参考代码。

   1. 使用以下内容，创建demo.yaml文件。

      如下YAML示例中，为命名空间增加标签pod-identity.alibabacloud.com/injection: 'on'，并为服务账户增加注解pod-identity.alibabacloud.com/role-name: demo-role-for-rrsa，启用ack-pod-identity-webhook组件的配置自动注入功能。关于ack-pod-identity-webhook组件配置的更多说明，请参见ack-pod-identity-webhook。

      展开查看示例代码

      ---
      apiVersion: v1
      kind: Namespace
      metadata:
        name: rrsa-demo
        labels:
          pod-identity.alibabacloud.com/injection: 'on'
      
      ---
      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: demo-sa
        namespace: rrsa-demo
        annotations:
          pod-identity.alibabacloud.com/role-name: demo-role-for-rrsa
      
      ---
      apiVersion: v1
      kind: Pod
      metadata:
        name: demo
        namespace: rrsa-demo
      spec:
        serviceAccountName: demo-sa
        containers:
          - image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.0.0
            imagePullPolicy: "Always"
            args:
              - rrsa
              - demo
            name: demo
        restartPolicy: OnFailure

   2. 执行以下命令，部署测试应用。

      kubectl apply -f demo.yaml

5. 执行以下命令，查看测试应用Pod，确认ack-pod-identity-webhook组件已为Pod自动注入所需的配置。

   kubectl -n rrsa-demo get pod demo -o yaml

   展开查看预期输出

   apiVersion: v1
   kind: Pod
   metadata:
     name: demo
     namespace: rrsa-demo
   spec:
     containers:
     - args:
       - rrsa
       - demo
       env:
       - name: ALIBABA_CLOUD_ROLE_ARN
         value: acs:ram::1***:role/demo-role-for-rrsa
       - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
         value: acs:ram::1***:oidc-provider/ack-rrsa-c***
       - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
         value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
       image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.0.0
       imagePullPolicy: Always
       name: demo
       volumeMounts:
       - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
         name: kube-api-access-4bwdg
         readOnly: true
       - mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
         name: rrsa-oidc-token
         readOnly: true
     restartPolicy: OnFailure
     serviceAccount: demo-sa
     serviceAccountName: demo-sa
     volumes:
     - name: kube-api-access-4bwdg
       projected:
         defaultMode: 420
         sources:
         - serviceAccountToken:
             expirationSeconds: 3607
             path: token
         - configMap:
             items:
             - key: ca.crt
               path: ca.crt
             name: kube-root-ca.crt
         - downwardAPI:
             items:
             - fieldRef:
                 apiVersion: v1
                 fieldPath: metadata.namespace
               path: namespace
     - name: rrsa-oidc-token
       projected:
         defaultMode: 420
         sources:
         - serviceAccountToken:
             audience: sts.aliyuncs.com
             expirationSeconds: 3600
             path: token

   预期输出表明，ack-pod-identity-webhook组件已为Pod自动注入了如下配置。

   类别	配置项名称	配置项说明
   环境变量	ALIBABA_CLOUD_ROLE_ARN	需要扮演的RAM角色ARN。
   	ALIBABA_CLOUD_OIDC_PROVIDER_ARN	OIDC身份提供商的ARN。
   	ALIBABA_CLOUD_OIDC_TOKEN_FILE	包含OIDC Token的文件路径。
   VolumeMount	rrsa-oidc-token	挂载OIDC Token的配置。
   Volume	rrsa-oidc-token	挂载OIDC Token的配置。

6. 执行以下命令，查看测试应用日志。

   kubectl -n rrsa-demo logs demo

   预期输出集群列表信息：

   cluster id: cf***, cluster name: foo*
   cluster id: c8***, cluster name: bar*
   cluster id: c4***, cluster name: foob*

7. 可选：移除角色被授予的AliyunCSReadOnlyAccess系统策略权限。具体操作，请参见为RAM角色移除权限。

   等待30秒左右，执行以下命令，再次查看测试应用日志。

   kubectl -n rrsa-demo logs demo

   预期输出无权限的错误日志：

      StatusCode: 403
      Code: StatusForbidden
      Message: code: 403, STSToken policy Forbidden for action cs:DescribeClusters request id: E78A2E2D-***
      Data: {"accessDeniedDetail":{"AuthAction":"cs:DescribeClusters","AuthPrincipalDisplayName":"demo-role-for-rrsa:ack-ram-tool","AuthPrincipalOwnerId":"11***","AuthPrincipalType":"AssumedRoleUser","NoPermissionType":"ImplicitDeny","PolicyType":"ResourceGroupLevelIdentityBasedPolicy"},"code":"StatusForbidden","message":"STSToken policy Forbidden for action cs:DescribeClusters","requestId":"E78A2E2D-***","status":403,"statusCode":403}

手动修改应用模板使用RRSA功能

您可以通过手动修改应用模板挂载应用所需的OIDC Token文件以及配置相关环境变量，在不安装ack-pod-identity-webhook组件的情况下使用RRSA功能。

应用模板示例代码如下。

apiVersion: v1
kind: Pod
metadata:
  name: demo
  namespace: rrsa-demo
spec:
  containers:
  - args:
    - rrsa
    - demo
    env:
    - name: ALIBABA_CLOUD_ROLE_ARN
      value: <role_arn>
    - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
      value: <oid_provider_arn>
    - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
      value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
    image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.0.0
    imagePullPolicy: Always
    name: demo
    volumeMounts:
    - mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
      name: rrsa-oidc-token
      readOnly: true
  restartPolicy: OnFailure
  serviceAccount: demo-sa
  serviceAccountName: demo-sa
  volumes:
  - name: rrsa-oidc-token
    projected:
      defaultMode: 420
      sources:
      - serviceAccountToken:
          audience: sts.aliyuncs.com
          expirationSeconds: 3600
          path: token

部署修改后的应用模板后，应用内程序可以使用容器内挂载的OIDC Token（环境变量ALIBABA_CLOUD_OIDC_TOKEN_FILE指向的文件内容，每次使用时都需要从文件中读取最新的Token）、角色的ARN（环境变量ALIBABA_CLOUD_ROLE_ARN配置的值）以及OIDC身份提供商的ARN（环境变量ALIBABA_CLOUD_OIDC_PROVIDER_ARN配置的值），调用STS的AssumeRoleWithOIDC接口，获取一个扮演指定RAM角色的临时凭证，然后使用该临时凭证访问云资源OpenAPI。应用参考代码，请参见阿里云官方SDK使用RRSA OIDC Token的参考代码。更多信息，请参见AssumeRoleWithOIDC。

使用已存在的RAM角色并授权

如果您的应用需要使用已存在的RAM角色，而非创建新的单独RAM角色，您可以修改RAM角色的信任策略，新增一条允许使用指定的服务账户的应用有权限通过扮演此RAM角色获取临时凭证的信任策略。更多信息，请参见修改RAM角色的信任策略。

RAM角色信任策略中新增的Statement条目内容示例如下。

{
  "Action": "sts:AssumeRole",
  "Condition": {
    "StringEquals": {
      "oidc:aud": "sts.aliyuncs.com",
      "oidc:iss": "<oidc_issuer_url>",
      "oidc:sub": "system:serviceaccount:<namespace>:<service_account>"
    }
  },
  "Effect": "Allow",
  "Principal": {
    "Federated": [
      "<oidc_provider_arn>"
    ]
  }
}

您也可以使用命令行工具ack-ram-tool通过自动化的方式配置该策略。对应的命令行示例如下。

ack-ram-tool rrsa associate-role --cluster-id <cluster_id> \
    --namespace <namespace> --service-account <service_account> \
    --role-name <role_name> --create-role-if-not-exist

阿里云官方SDK使用RRSA OIDC Token的参考代码

SDK参考代码

目前，阿里云V2.0 SDK已经内置了支持使用RRSA OIDC Token进行OpenAPI认证的功能，所有基于V2.0 SDK生成并且支持STS Token认证的云产品SDK都将默认支持RRSA OIDC Token认证。支持此功能的SDK版本信息和参考代码如下。

部分云产品自研的SDK也可以参考上面的方法实现使用RRSA OIDC Token进行OpenAPI认证的功能。具体实现方式的参考代码如下。

SDK报错信息解决方法

不同报错信息的解决方法如下表所示。

{
 "Code": "AuthenticationFail.OIDCToken.Expired",
 "Message": "This JsonWebToken is expired."
}

{
 "Code": "Throttling.User",
 "Message": "Request was denied due to user flow control."
}

{
 "Code": "AuthenticationFail.OIDCToken.AudienceNotMatch",
 "Message": "Invalid audience."
}

{
 "Code": "AuthenticationFail.OIDCToken.IssuerConfigurationBroken",
 "Message": "Get public keys from OIDC Provider failed, the issuer is https://kubernetes.default.svc."
}

{
 "Code": "AuthenticationFail.OIDCToken.IssuerNotMatch",
 "Message": "The issuer in the OIDC Token doesn't match the OIDC Provider registered."
}

{
 "Code": "AuthenticationFail.NoPermission",
 "Message": "No such OIDC Provider registered."
}

{
 "Code": "EntityNotExist.Role",
 "Message": "The role not exists: acs:ram::19981***:role/***. "
}

{
  "Code": "AuthenticationFail.NoPermission",
  "Message": "There is no permission"
}

常用命令行工具使用RRSA OIDC Token

借助ack-ram-tool，可以赋予部分常用命令行工具在容器内使用RRSA OIDC Token的能力。具体配置和使用示例详见下表。

{
  "current": "rrsa",
  "profiles": [
    {
      "name": "rrsa",
      "mode": "OIDC",
      "region_id": "cn-hangzhou",
      "ram_session_name": "test-rrsa"
    }
  ],
  "meta_path": ""
}

$ aliyun sts GetCallerIdentity
{
    "AccountId": "11380***",
    "Arn": "acs:ram::1138***:assumed-role/test-rrsa-***/test-rrsa",
    "IdentityType": "AssumedRoleUser",
    "PrincipalId": "33300***:test-rrsa",
    "RequestId": "20F78881-F47E-5771-90D6-***",
    "RoleId": "33300***"
}

$ aliyun sts GetCallerIdentity --region cn-hangzhou --role-session-name=test-rrsa
{
	"AccountId": "11380***",
	"Arn": "acs:ram::1138***:assumed-role/test-rrsa-***/test-rrsa",
	"IdentityType": "AssumedRoleUser",
	"PrincipalId": "33300***:test-rrsa",
	"RequestId": "20F78881-F47E-5771-90D6-***",
	"RoleId": "33300***"
}

$ ack-ram-tool export-credentials -f environment-variables -- aliyunlog log list_project --region-endpoint=cn-hangzhou.log.aliyuncs.com

{"count": 1, "projects": [
{"createTime": "1676282996", "description": "k8s log project, ***",
 "lastModifyTime": "1676282996", "owner": "", "projectName": "k8s-log-c0edc***", 
 "region": "cn-hangzhou", "resourceGroupId": "rg-***", "status": "Normal"}],
  "total": 24}

provider "alicloud" {
  assume_role_with_oidc {
    role_session_name = "terraform-with-rrsa-auth-example"
  }
  region = "cn-hangzhou"
}

相关文档

• ack-pod-identity-webhook

• ServiceAccount token volume projection

• OIDC(OpenID Connect) 介绍

• OIDC角色SSO概览

• AssumeRoleWithOIDC - OIDC角色SSO时获取扮演角色的临时身份凭证

• ack-ram-tool