基于Jenkins实现账号工厂_卓越架构(WAF)-阿里云帮助中心

方案概述

当企业开通资源目录，将已有阿里云账号邀请进来，或者通过新建成员账号的方式开展新的业务，那么不同账号之间的统一权限管理就会显得尤为重要，如果是在这些账号内手工创建 RAM 角色，则无法保证权限统一，后续修改维护困难，本文档则介绍了一种通过Jenkins + Docker + Terraform 自动化为所有成员账号创建RAM 角色、权限及VPC等统一基线的方法。

方案优势

账号统一基线

账号工厂通过同一工作流模板生产成员账号，能够确保新账号都包含流水线中定义的统一基线，根据基线内容保障新账号权限安全。

基础设施代码化

基于IaC思想，将资源目录中成员账号的配置过程使用Terraform规范化，每次创建成员账号时使用同一份Terraform代码，保证所有成员账号权限统一，减轻运维管理负担。

灵活可扩展

Terraform及工作流代码可拓展，用户可根据需求拓展功能，提供更多的基线配置。Jenkins为应用广泛的开源CI/CD产品，可提供API与企业内部DevOps平台集成。

客户场景

上云阶段批量生产成员账号

场景描述

企业上云阶段构建多账号体系，多成员账号权限配置繁琐、效率低下，无法保证账号权限、资源配置等基线统一，后续修改维护困难。

适用客户

上云阶段需要批量生成统一基线账号的企业客户。

业务扩展新建成员账号

场景描述

企业业务扩展需开设新账号，企业手动创建账号时无法快速创建拥有统一身份权限、资源配置基线的成员账号。

适用客户

企业业务扩展阶段需要生成统一基线账号的企业客户。

方案架构

本方案使用Terraform自动化执行，整合Jenkins + Docker搭建Terraform的执行环境，实现了Terraform的CI/CD集成。本方案中在ECS中部署Jenkins及Docker，在Docker中运行Terraform等账号基线Pipeline步骤，Terraform的State文件使用OSS + OTS作为服务远端存储（Remote Backend）并支持加锁，保证State文件安全。

以下的流程图描述了该方案的执行步骤，首先使用企业管理主账号下的RAM用户（子用户）AK信息，通过Terraform脚本登录到企业管理主账号，并在指定的资源夹下创建新的「成员账号」。之后扮演成员账号下的ResourceDirectoryAccountAccessRole角色，该角色会在成员账号加入RD时自动创建，并拥有云管理员（AdministratorAccess）权限。登录到成员账号后，会在成员账号下进行权限配置——创建IDP和相关RAM角色、创建一个用于执行Tarraform脚本的RAM用户并为上述角色和用户绑定权限策略。最后会在成员账号下进行网络配置——根据用户指定数据创建VPC和交换机。

产品费用及名词

产品费用

产品名称	产品说明	产品费用
资源目录RD	资源目录RD（Resource Directory）是阿里云面向企业客户提供的一套多级账号和资源关系管理服务。	免费，详情参见产品定价。
访问控制RAM	访问控制使您能够安全地集中管理对阿里云服务和资源的访问。您可以使用RAM创建和管理用户和组，并使用各种权限来运行或访问他们对云资源的访问。	免费。
容器镜像服务ACR	容器镜像服务ACR提供安全地镜像托管能力，稳定的国内外镜像构建服务，便捷的镜像授权功能，方便用户进行镜像全生命周期管理。	企业版收费，详情见产品计费。
云服务器ECS	云服务器ECS（Elastic Compute Service）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务	收费，详情参见产品计费。
对象存储OSS	对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高持久的云存储服务。	收费，详情参见产品计费。
表格存储OTS	表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。	收费，详情参见产品定价。
Jenkins	Jenkins是应用广泛的开源自动化CI/CD产品。	免费。
Docker	Docker容器化技术，用于支持创建和使用容器，实现对容器的高效创建、部署及复制，并能将其从一个环境顺利迁移至另一个环境，从而有助于针对云优化应用。	高级版收费，详情参见Pricing。

名词解释

名称	说明
企业管理主账号	在企业拥有多个阿里云账号时，特指拥有管理其他账号资源权限的管理员账号。用于管理多账号，统一配置多账号身份权限，统一查看各云账号账单，统一配置审计规则并下发到各成员账号。
RAM用户	RAM用户是RAM的一种实体身份类型，有确定的身份ID和身份凭证，它通常与某个确定的人或应用程序一一对应。因安全原因不推荐直接使用云账号的AK/SK。因此在账号下创建一个RAM用户，授予RAM用户最小权限，使用该RAM用户的AK/SK。
成员账号	在资源目录中受「企业管理主账号」邀请或被创建的其他账号，每一个成员账号均为一个独立的账号，拥有自己的云资源，企业可根据职责划分为不同的账号，由企业管理主账号统一管理。
State文件	Terraform中用于描述当前资源配置的文件，详情参见State。本文使用OSS + OTS作为State文件的远端存储，详情参见OSS Backend。

安全性

资源目录权限

资源目录服务关联角色（AliyunServiceRoleForResourceDirectory）为资源目录集成服务提供可信访问通道，详情参见资源目录服务关联角色。

Jenkins安全性

Jenkins需要进行安全加固，安全性详情参考官方文档Securing Jenkins。
当使用Jenkins并拥有大量用户及并发任务等情况时参考官方文档Scaling Jenkins。

Terraform State文件安全

使用OSS作为Backend保存Terraform State文件，使用OTS支持State文件加锁及一致性检查，详情参见OSS Backend。

Docker安全性

Docker安全性详情参见官方文档Security。

AccessKey使用

需要使用企业管理主账号下RAM用户的AccessKey，用于创建账号及操作阿里云资源。该RAM用户拥有 AliyunResourceDirectoryFullAccess和AliyunSTSAssumeRoleAccess两个权限。

注意事项

资源目录使用限制

资源目录及资源共享使用限制详情参见使用限制。

ECS使用限制

ECS存在一些产品功能和服务性能等限制，详情参见使用限制。

OSS使用限制

OSS使用限制及性能指标详情参见使用限制。

OTS使用限制

OTS使用限制详情参见使用限制。

实施步骤

实施准备

已拥有一台可连通公网的ECS（本方案使用操作系统CentOS），ECS中已安装Jenkins及Docker，并且在Jenkins中已安装Docker插件。
确保已在「企业管理主账号」（也可使用其他账号）OSS下创建用于存储Terraform state文件的Bucket，并且在OTS中创建一张主键名为LockID，类型为String的数据表，用于作为Terraform state文件的锁。记录下Bucket和数据表的名称和endpoint。
确保在「企业管理主账号」中，存在一个「RAM用户」AK，且该用户拥有 AliyunResourceDirectoryFullAccess和AliyunSTSAssumeRoleAccess两个权限；在后续的步骤中，我们将使用该RAM用户及其AK。
确定工作流及Terraform输入参数，输入参数分为两部分：第一部分为全局参数，需写入源代码中的settings.tfvars文件，每次流水线执行时均保持一致；第二部分为执行参数，执行流水线时动态填写，不会保存。
- 全局参数
  - encodedsaml_metadata_document：企业IDP的元文件，用于在阿里云上创建IDP
  - sso_provider_name：创建的IDP的名称
  - ram_roles：需要创建的ram角色列表，示例中包括只读和管理员角色
  - user_name：用于执行TF脚本的角色名称
  - policy_name：自定义权限策略的名称
  - policy_document：自定义权限策略内容
  - attach_roles：自定义权限策略绑定的角色列表
  - attach_users：自定义权限策略绑定的用户列表
  - reader_name：需要绑定权限策略的只读角色名称
  - reader_policy_type：为只读角色绑定的权限策略的类型
  - reader_policy_name：为只读角色绑定的权限策略的名称
  - vpc_name：创建的vpc的名称
  - vswitch_name：vpc下交换机的名称
- 执行参数
  - account_name：新创建账号的显示名称
  - account_name_prefix：新创建账号的账号标识
  - uid: 「企业管理主账号」uid
  - access_key：「企业管理主账号」下RAM用户的AK
  - secret_key：「企业管理主账号」下RAM用户的SK
  - folder_id：新创建的成员账号所属资源夹ID
  - vpc_cidr_block：VPC的网段
  - switch_cidr_block：交换机的网段
  - region：区域信息，如cn-hangzhou
  - zone_id：可用区ID，如cn-hangzhou-b

完成镜像构建，并通过容器镜像服务ACR能够拉取到镜像，我们将使用ACR中的registry.cn-hangzhou.aliyuncs.com/terraform/terraform-docker-hub:v1镜像运行Terraform代码，用户可根据自身需求打包镜像，该镜像的Dockerfile如下所示：

FROM alpine:3.14

ENV TERRAFORM_PLUGIN_DIR=/srv/terraform-plugins
ENV TF_PLUGIN_CACHE_DIR=${TERRAFORM_PLUGIN_DIR}
ENV TERRAFORM_VERSION=1.0.2
ENV TERRAFORM_PROVIDER_ALICLOUD_VERSION=1.127.0
ENV TERRAFORM_PROVIDER_LOCAL_VERSION=2.1.0
ENV PATH="/opt/venv/bin:$PATH"

RUN apk add libxml2-dev libxslt-dev python3-dev gcc build-base wget unzip git bash \
    && python3 -m venv /opt/venv \
    && pip install terraform-compliance \
    && pip install checkov \

    && wget https://releases.hashicorp.com/terraform/${TERRAFORM_VERSION}/terraform_${TERRAFORM_VERSION}_linux_amd64.zip \
    && unzip terraform_${TERRAFORM_VERSION}_linux_amd64.zip -d /usr/local/bin/ \

    && mkdir -p ${TERRAFORM_PLUGIN_DIR}/registry.terraform.io/aliyun/alicloud/${TERRAFORM_PROVIDER_ALICLOUD_VERSION}/linux_amd64 \
    && wget https://releases.hashicorp.com/terraform-provider-alicloud/${TERRAFORM_PROVIDER_ALICLOUD_VERSION}/terraform-provider-alicloud_${TERRAFORM_PROVIDER_ALICLOUD_VERSION}_linux_amd64.zip \
    && unzip terraform-provider-alicloud_${TERRAFORM_PROVIDER_ALICLOUD_VERSION}_linux_amd64.zip -d ${TERRAFORM_PLUGIN_DIR}/registry.terraform.io/aliyun/alicloud/${TERRAFORM_PROVIDER_ALICLOUD_VERSION}/linux_amd64 \

    && mkdir -p ${TERRAFORM_PLUGIN_DIR}/registry.terraform.io/hashicorp/local/${TERRAFORM_PROVIDER_LOCAL_VERSION}/linux_amd64 \
    && wget https://releases.hashicorp.com/terraform-provider-local/${TERRAFORM_PROVIDER_LOCAL_VERSION}/terraform-provider-local_${TERRAFORM_PROVIDER_LOCAL_VERSION}_linux_amd64.zip \
    && unzip terraform-provider-local_${TERRAFORM_PROVIDER_LOCAL_VERSION}_linux_amd64.zip -d ${TERRAFORM_PLUGIN_DIR}/registry.terraform.io/hashicorp/local/${TERRAFORM_PROVIDER_LOCAL_VERSION}/linux_amd64 \
    
    && rm -rf *.zip

实施时长

在实施准备工作完成的情况下，本方案实施预计时长：45分钟。

操作步骤

配置参数

下载本文源代码章节中的账号工厂代码，目录结构参考相应说明。
使用编辑器打开 backend.tfvars文件，修改该文件内的配置项：
1. bucket：实施准备中在OSS中创建的Bucket名称。
2. prefix：OSS中State文件存储路径，可以根据实际情况修改。
3. region：OSS存储地区，注意和实施准备中的地域一致。
4. tablestore_endpoint：OTS的访问入口，可在OTS实例页面上查到。根据网络情况选择入口地址。
5. tablestore_table：实施准备中创建的OTS数据表实例名称。
6. access_key：OSS/OTS在企业管理主账号时不需要填写，不在企业管理主账号时需要填写相应账号RAM用户的AccessKey，该用户需要拥有OSS/OTS的读写权限。
7. secret_key：OSS/OTS在企业管理主账号时不需要填写，不在企业管理主账号时需要填写相应账号RAM用户的SecretKey。
8. endpoint：OSS访问入口，注意和实施准备中的地域一致。
用编辑器打开settings.tfvars文件，根据配置文件注释和前提条件中的全局参数填写。

使用Jenkins完成CI/CD

在Jenkins pipeline中选择带有参数的项目，在运行pipeline时传入实施准备中的执行参数。参数配置与执行参数定义保持一致。
Terraform代码上传到Github或者自建Git仓库中。获取访问Git仓库的访问凭证，并将访问凭证添加到Jenkins中。

在Jenkins中创建流水线，流水线的Jenkinsfile如下所示。根据实际情况修改Jenkinsfile中的image配置，修改环境准备中的Git路径和凭证。

pipeline {
    agent {
        docker {
            image 'registry.cn-hangzhou.aliyuncs.com/terraform/terraform-docker-hub:v1'
            args '-e ALICLOUD_ACCESS_KEY=$access_key -e ALICLOUD_SECRET_KEY=$secret_key -e ALICLOUD_REGION=$region'
        }
    }
    stages {
        stage('环境准备'){
            steps{
                git credentialsId: 'yf01-aliyun-code-repo', url: 'git@codeup.aliyun.com:xxxx/account-base.git'
            }
        }
        stage('创建账号') {
            steps{
                sh 'cd step/account-create && terraform init -backend-config="key=$uid-$account_name-account-create" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/account-create && terraform apply --auto-approve -var "folder_id=$folder_id" -var "account_name=$account_name" -var "account_name_prefix=$account_name_prefix"'
            }
        }
        stage('权限配置:创建IDP') {
            steps{
                sh 'cd step/auth-create-idp && terraform init -backend-config="key=$uid-$account_name-auth-create-idp" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/auth-create-idp && terraform apply --auto-approve -var-file=../../settings.tfvars -compact-warnings'
            }
        }
        stage('权限配置:创建角色') {
            steps{
                sh 'cd step/auth-create-role && terraform init -backend-config="key=$uid-$account_name-auth-create-role" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/auth-create-role && terraform apply --auto-approve -var-file=../../settings.tfvars -compact-warnings'
            }
        }
        stage('权限配置:创建TF用户') {
            steps{
                sh 'cd step/auth-create-user && terraform init -backend-config="key=$uid-$account_name-auth-create-user" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/auth-create-user && terraform apply --auto-approve -var-file=../../settings.tfvars -compact-warnings'
            }
        }
        stage('权限配置:角色授权') {
            steps{
                sh 'cd step/auth-authorize-role && terraform init -backend-config="key=$uid-$account_name-auth-authorize-role" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/auth-authorize-role && terraform apply --auto-approve -var-file=../../settings.tfvars -compact-warnings'
            }
        }
        stage('网络配置') {
            steps{
                sh 'cd step/network-create-vpc-vsw && terraform init -backend-config="key=$uid-$account_name-network-create-vpc-vsw" -backend-config=../../backend.tfvars -reconfigure -plugin-dir=/srv/terraform-plugins'
                sh 'cd step/network-create-vpc-vsw && terraform apply --auto-approve -compact-warnings -var "vpc_cidr_block=$vpc_cidr_block" -var "switch_cidr_block=$switch_cidr_block" -var "zone_id=$zone_id" -var-file=../../settings.tfvars'
            }
        }
    }
}

运行该流水线，运行完成后会在Jenkins中打印每个步骤的执行结果和日志。当在资源目录中新增成员账号、或者修改了配置项中的内容时，上传到Git仓库后重新运行流水线即可。

使用API

配置完成后可以通过REST API直接操作Jenkins，便于与企业内部系统集成：

与Jenkins进行验证，在Jenkins 账号中新增API Token。

之后在请求头中，添加该API Token即可使用该账号操作Jenkins，例如：

curl -H "Authorization: Basic YWRtaW46MTE3M*********==" http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/

获取指定pipeline的详细信息

GET http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/

运行该pipeline，如果有输入参数，通过传如下json格式数据执行。

POST http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/runs/

{
  "parameters" : [{
    "name" : "******",
    "value" : "****"
  }, {
    "name" : "******",
    "value" : "****"
  }]
}

获取该pipeline的执行结果，执行后可获取到本次执行的执行id，用于获取本次执行的结果。
```
GET http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/runs/{执行id}
```

获取该pipeline的执行日志：

GET http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/runs/{执行id}/log

获取该pipeline每一个node的执行结果，可以获取到失败的node id，从该步重新运行。

GET http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/runs/{执行id}/nodes

从指定的node重新执行pipeline

GET http://{Jenkins地址}/blue/rest/organizations/jenkins/pipelines/{pipeline名称}/runs/{执行id}/nodes/{node id}/restart/

基于Jenkins实现账号工厂

方案概述

方案优势

账号统一基线

基础设施代码化

灵活可扩展

客户场景

上云阶段批量生产成员账号

场景描述

适用客户

业务扩展新建成员账号

场景描述

适用客户

方案架构

产品费用及名词

产品费用

名词解释

安全性

资源目录权限

Jenkins安全性

Terraform State文件安全

Docker安全性

AccessKey使用

注意事项

资源目录使用限制

ECS使用限制

OSS使用限制

OTS使用限制

实施步骤

实施准备

实施时长

操作步骤

配置参数

使用Jenkins完成CI/CD

使用API

故障排除

Jenkins

资源目录

相关内容