从自建DevOps部署微服务再到云效-阿里云开发者社区

背景信息

DevOps意为“Development”和“Operations”，即为开发人员和运维人员之间沟通合作的开发模式，通过自动化“软件交付”和“架构更变”的流程，实现开发运维一体化，使得开发构建、测试、发布能够更加快捷、频繁和高效稳定。DevOps是一组过程、方法与系统的统称，用于促进开发（应用程序/软件工程）、技术运营和质量保证部门之间的沟通、协作与整合。它的出现时由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作。其最大的特点就是极速的迭代和快速的用户反馈。

云效，云原生时代一站式BizDevOps平台，支持公共云、专有云和混合云多种部署形态，通过云原生新技术和研发新模式，助力创新创业和数字化转型企业快速实现研发敏捷和组织敏捷，打造“双敏”组织，实现10倍效能提升。

如今，业务追求上云，业务流程也可以上云。阿里的云效DevOps全家桶，真正的为人们带来便利，今天，我就以Jenkins+Gitlab基于k8s集群实现自建DevOps系统的方式部署开源微服务PiggyMetrics，与云效DevOps对比，告诉大家真正的免运维，实现高效的业务开发流程。

自建DevOps实现CI/CD-部署微服务PiggyMetrics

这里，我先从自建devops系统并部署微服务应用开始。

测试的devops系统架构流程如下：

基于现有的kubernetes集群和harbor镜像仓库，搭建以docker运行的Gittlab代码仓库和CI工具jenkins，并编写自动化流水线脚本。

1.部署jenkins

Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。

我们通过容器部署jenkins服务。

容器名称：jenkins；端口映射：8080:8080；使用root身份生成容器；

[root@master  opt]# docker run -itd --name jenkins -p 8881:8080 -u  root -v /home/jenkins_home:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock -v  /usr/bin/docker:/usr/bin/docker -v /usr/bin/kubectl:/usr/local/bin/kubectl -v /root/.kube:/root/.kube  jenkins/jenkins:2.262-centos

设置jenkins：

在Web端通过http://IP:8080访问Jenkins。

查看默认密码：

[root@master ~]#  docker exec jenkins cat /var/jenkins_home/secrets/initialAdminPassword
54670064056e42a2a47485a5e3356e57

输入密码并点击“继续”。
选择“安装推荐的插件”，如图所示：
插件安装完成后自动转入管理员用户创建界面。
输入用户信息，点击“保存并完成”。
配置完URL后使用新建的用户登录Jenkins，如图。

2.部署Gitlab

GitLab是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的Web服务，可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。

我们这里也是通过容器部署Gitlab服务。

容器名称：Gitlab；端口映射：1022:22、81:80、443:443；容器重启策略：always；

[root@master  opt]# docker run -itd --name gitlab -p 81:80 -p 443:443 -v  /root/gitlab/config:/etc/gitlab -v /root/gitlab/logs:/var/log/gitlab -v  /root/gitlab/data:/var/opt/gitlab --restart always  gitlab/gitlab-ce:12.9.2-ce.0

设置root用户信息并使用root用户登录Gitlab，如图所示：

创建项目“Create a project”。

我们就可以在本地通过Git上传代码到仓库。

git init
git  remote add origin http://ip/xxxx.git
git add .
git commit -m  'upload'
git push -u origin  master

3.配置Jenkins对接Gitlab

gitlab设置Outbound requests。
生成“Access Tokens”并命名为jenkins。
设置Jenkins取消对’/project’end-point进行身份验证；
jenkins添加Gitlab api token。

4.配置Jenkins连接Maven

采用docker in docker的方式在Jenkins内安装Maven。

[root@master ~]# cp  apache-maven-3.6.3-bin.tar.gz /root/jenkins/
[root@master ~]#  docker exec -it jenkins bash
[root@b957b62337cc  /]# cd /var/jenkins_home/
[root@b957b62337cc  jenkins_home]# tar -zxvf apache-maven-3.6.3-bin.tar.gz -C .
[root@2927036f2450  jenkins_home]# mv apache-maven-3.6.3 /usr/local/maven
//配置maven环境变量
[root@b957b62337cc  jenkins_home]# vi /etc/profile
export  M2_HOME=/usr/local/maven
export  PATH=$PATH:$M2_HOME/bin
[root@2927036f2450  /]# vim /root/.bashrc
if [ -f /etc/bashrc  ]; then
        . /etc/bashrc
        source  /etc/profile
fi

在Jenkins中配置Maven信息。

Dashboard-全局工具配置。

5.配置CI/CD

新建流水线任务。
配置触发器。

编写流水线脚本。

构建微服务项目中的gateway和config服务，将构建后的镜像自动上传到Harbor仓库，并自动发布gateway和config服务到Kubernetes集群的springcloud命名空间下。

node{
    stage('git clone'){
        //check CODE 从代码仓库克隆
        git credentialsId:  'ad561b3b-5252-43d5-b9c4-ec9bece0134c', url: 'http://IP/xxx.git'
    }
 
    stage('maven build'){
//maven编译
        sh  '''/usr/local/maven/bin/mvn package -DskipTests -f  /var/jenkins_home/workspace/xxx'''
    }
 
    stage('image build'){
//构建镜像，并将镜像ID变量作为tag
        sh '''
              echo $BUILD_ID
              docker build -t 10.24.2.10/xxx/gateway:$BUILD_ID -f  /var/jenkins_home/workspace/xxx/gateway/Dockerfile   /var/jenkins_home/workspace/xxx/gateway
              docker build -t 10.24.2.10/xxx/config:$BUILD_ID -f  /var/jenkins_home/workspace/xxx/config/Dockerfile   /var/jenkins_home/workspace/xxx/config'''
    }
 
    stage('test'){
//测试镜像
        sh '''docker run -itd --name gateway  10.24.2.10/xxx/gateway:$BUILD_ID
        docker ps -a|grep  chinaskillproject|grep Up
        if [ $? -eq 0 ];then
            echo "Success!"
            docker rm -f gateway
        else
            docker rm -f gateway
            exit 1
            fi
        '''
    }
 
    stage('upload registry'){
//上传构建完成的镜像到harbor镜像仓库
        sh '''docker login  10.24.2.10 -u=admin -p=xxxxxxxxxxxxxx
            docker push  10.24.2.10/chinaskillproject/gateway:$BUILD_ID
            docker push  10.24.2.10/chinaskillproject/config:$BUILD_ID'''
    }
 
    stage('deploy k8s'){
        //创建命名空间，部署yaml脚本到k8s集群
       sh 'kubectl create ns springcloud'
       sh 'kubectl apply -f  /var/jenkins_home/workspace/xxx/yaml/deployment/gateway-deployment.yaml  --kubeconfig=/root/.kube/config'
       sh 'kubectl apply -f  /var/jenkins_home/workspace/xxx/yaml/deployment/config-deployment.yaml  --kubeconfig=/root/.kube/config'
       sh 'kubectl apply -f  /var/jenkins_home/workspace/xxx/yaml/svc/gateway-svc.yaml --kubeconfig=/root/.kube/config'
       sh 'kubectl apply -f  /var/jenkins_home/workspace/xxx/yaml/svc/config-svc.yaml --kubeconfig=/root/.kube/config'
    }
}

配置Gitab的Webhook。
1. Gitlab，进入项目，点击左侧导航栏“Settings”→“Webhooks”，将GitLab Webhook URL地址填入URL处，禁用SSL认证，如图所示。
2. 点击“Add Webhook”添加Webhook。
3. 点击“Push events”进行测试。
  结果返回HTTP 200则表明Webhook配置成功。

6.触发流水线

Git重新提交代码，触发流水线。

[root@master  ]# git commit -m "Initial commit"
# On  branch master
nothing  to commit, working directory clean
[root@master  ]# git push -u origin master

触发后开始运行。
流水线一路绿灯，构建部署成功。
微服务成功部署在k8s集群，CI/CD部署完成。

接下来就是本次的正文了-云效

为什么要花这么多功夫写自建devops系统呢？

因为这些部署在云效之中，都！不！需！要！

当自建系统时，基础设施需要确保Kubernetes集群、部署镜像仓库、部署代码仓库、部署CI/CD工具，还需要针对业务编写设置不同的流水线，并考虑服务的高可用性

一切复杂冗余的部署运维，有了云效，都可以省去！

就好比官方文档中所述：

为什么选择云效公共云，而不是自建或开源？
- 免搭建、免维护，注册即用
- 一站式DevOps，账号、数据打通
- 钉钉集成，成员、消息及时同步
- 无缝对接阿里云ECS、ACK等
- 丰富的研发效能数据洞察
- 精细化企业级安全防控能力

云效DevOps-部署微服务PiggyMetrics

云效代码管理 Codeup

云效代码管理Codeup是阿里云出品的一款企业级代码管理平台，提供代码托管、代码评审、代码扫描、质量检测等功能，全方位保护企业代码资产，帮助企业实现安全、稳定、高效的研发管理。

代码仓库相信是个搞计算机的都不陌生，最热门的Github/gitee等在线代码仓库，或Gittlab等等。我们对代码仓库最基本的需求便是代码托管与版本管理。云效提供了代码托管，同时也可以连接其他Git仓库。

这里，我们从代码管理开始：

创建新代码库。
通过Git上传本地代码文件。

说明
Git连接时的账号需要在个人设置里HTTPS密码中重新设置，与阿里的登录账号无关。

上传我们的测试代码后，仓库显示。
云效的代码管理功能类似与常见代码仓库，包括项目分支、请求提交记录、安全管理。
在代码安全中，云效提供了依赖包漏洞检测与源码漏洞检测。

云效流水线Flow

云效流水线完美的替代jenkins的CI功能，相比较自建的持续交付工具，使用Flow仅仅需要几步，就可以快速搭建CICD流程。Flow提供了开箱即用的构建环境，提供了数十种通用的流水线模版帮助你快速创建流水线，可以根据开发业务选择不同的模板，这个对于自己编写pipeline脚本真的方便了很多，当我在自己编写流水线脚本时，需要进行大量的测试调试，还需要根据不同的业务需求而进行调整。Flow提供的不同功能的模板，大量减少了运维工作。

在这里，我们新建流水线，选择：

根据我们发布流程，我们分别需要设置四个流程：

选择流水线来源，选择上面我们完成代码上传的云效codeup，选择好仓库和分支。
我们需要对仓库内代码进行Maven build，流水线运行时会将打包完的jar包暂存在工作空间中。
我们配置镜像构建，这里需要构建微服务中的gateway和config镜像，选择镜像构建推送到阿里云。
配置阿里镜像仓库，设置Dockerfile的文件路径，可以设置构建镜像的tag。
我们将构建完成的镜像部署到k8s集群中，我们可以直接部署到阿里的ACK集群中。
选择好kubectl的选项，以及YAML部署脚本文件。
微服务PiggyMetrics的流水线Flow到这里就完成设置了，非常简单便捷的部署了四个流程。

说明

每个阶段还可以配置通知功能。

完成配置后，点击运行配置。

流水线运行成功，一路绿灯。

说明

图中构建出现的告警是因为dockerfile中编写容器源镜像选择的是dockerhub官方的，阿里建议使用国内镜像站。

此时我们进ACK集群，查看创建的deployment，如图config和gateway以及正常上线。

通过ACK服务，使用负载均衡就可以暴露服务端口在公网上。

PiggyMetrics微服务部署完成，公网访问成功。

其他云效全家桶工具体验

云效知识库 Thoughts

文档管理是最为重要的功能，文档是最基础的技术载体，对新人进入时可以通过学习文档快速进入工作，也可以避免开发中解决重复性的问题解决。

多人协作的文档管理产品有很多，常见的以Wiki为主，企业常用的文档及项目管理为Confluence+jira，也有公有云SaaS产品语雀，这些产品我或多或少接触过。但是对于一些小型团队，这些产品偏重。

这是我个人在使用的wiki知识平台wiki.js，搭建较轻，但是还是有运维的要求（数据库、存储备份等）。

云效中集成了知识库模块，我第一使用感受就是简约、轻。

可以有几大经典的模板供创建，非常方便。

我选择了创建IT运营模板，可以配置文档库公开性。

模板库有大量现成文档模板，包含了标题，可以促进编写文档的标准化。

文档编辑是markdown格式的，熟悉markdown的非常好上手。

同时也可以导入现有的文档内容，包括了markdown\云效文档导出\Confluence\Word文件。

测试了导入word文档文件，对word导入效果还不错。

测试管理Testhub

云效提供了测试管理，针对研发中测试人员直接在云效中跟进项目测试与反馈。

创建测试用例库，填写名称、设置安全性、填写编号。

新建用例，填入标题、测试条件、测试过程和期望。

新建测试计划，选择人员设置日期。

当测试人员完成测试后，就可以将测试结果反馈到平台。

应用交付

AppStack中最为核心的三概念为发布应用、部署环境、应用编排。

发布。
一个可独立交付的对外提供服务的单元，在研发态，通常对应一个到多个功能模块，关联一个或多个代码库；在运行态，通常对应一组Kubernetes资源。
环境。
环境是应用运行态的载体，是应用维度做部署和运维的操作界面。在AppStack中，一个应用可以创建多套环境，用于开发、测试、生产等不同场景，用户可以分别对这些环境进行更新、管理和运行状态监控。
编排。
是对应用部署架构的描述，通常包含工作负载、配置项、网络、存储声明等，是一组Kubernetes资源组合。