Java应用构建并部署K8s

通过 Flow 流水线自动化任务,将Java应用构建镜像推送至镜像仓库,并部署到了ACK(Kubernetes版集群)中,完成研发流程的协同自动化。

背景信息

如果您的业务是以下场景,那么本文档可以帮助您实现研发流程的协同自动化。

  • 使用Java进行开发。

  • 使用容器镜像的制品形式进行交付。

  • 制品最终会运行在阿里云ACK或者其他K8s集群上。

用户诉求

  • 一般来说,使用K8s部署场景如下:

    • 对源代码进行一定的质量检测,比如单元测试,代码扫描。

    • 将源代码构建成为可交付的制品,也就是容器镜像。

    • 对制品进行测试环境验证。

    • 使用完成验证的制品进行线上部署。

    • 使用基础设施即代码的方式,在代码库中管理与应用相关的所有YAML文件。使用这种方式,将K8s的编排能力完全交给开发,比较灵活,也更加利于DevOps的实施。

  • 上述活动需要有不同角色的参与:开发、测试、运维。如何保证不同参与者可以使用统一的交付流程来进行协作,是云效Flow交付流水线要解决的主要问题。

云效解决方案

  • 通过云效持续交付流水线和阿里云K8s很好的结合在一起,为应用的持续交付提供了很好的基础保障,如下图:

    K31

  • 开发者提交代码变更到代码库,云效在监听着代码库的变动,一旦代码发生变化,将自动触发云效持续部署流水线一次构建任务的运行,包括代码检查、构建、测试部署、测试验证和生产部署等过程。

  • 在构建完之后,生成Docker镜像,并自动上传至应用镜像仓库,在部署阶段(测试环境的部署和生产环境的部署)时,获取当前流水线实例构建出来的镜像版本,通过K8s进行容器编排部署。而这一切,都是通过自动化的手段进行完成。

前提条件

  • 本文使用示例代码源托管仓库,根据需求可以选择合适的项目代码托管仓库,源码仓库需要包含构建镜像的指令文件Dockerfile和部署应用的资源文件YAML。

  • 根据需求选择合适的镜像仓库,本示例使用容器镜像服务ACR个人版实例,建议选择ACR企业版(并发速度性能有保障),具体操作请参阅创建个人版实例

  • 请确保完成创建ACK集群,具体操作请参阅创建ACK托管集群

云效操作实践

一、创建流水线

  1. 在云效工作台,单击流水线进入云效流水线Flow

  2. 在流水线 Flow控制台页面,单击右上角新建流水线,进入流水线创建向导页面。

  3. 根据需求,选择相应模板,并单击创建。Group@1x

二、配置代码库

  1. 在流水线任务页面,选择流程配置页签,单击添加流水线源,选择使用Flow提供的示例代码源,并进行添加。Group@1x

  2. 示例代码库地址,请先查看相关的manifest文件,其中包含对象资源有Secret、Deployment、Service、Ingress对象资源是将这个服务暴露到公网上。

三、配置镜像构建任务

  1. 您需要先在ACR(容器镜像服务)上创建个人实例镜像仓库。

  2. 在构建任务节点区域,单击任务节点,配置镜像构建并推送至ACR(个人版)步骤。

  3. 在任务步骤配置项中,配置如下参数。

    选择服务连接

    添加服务连接,需要授权Flow访问容器镜像服务。

    地域

    选择镜像仓库实例所属地域。

    仓库

    选择自定义的镜像仓库。

    标签

    标签填入${DATETIME}表示以流水线触发时的时间戳作为镜像的标签。

    说明

    Docker镜像Tag,支持固定参数例如1.0,或者动态参数例如${DATETIME}

    Dockerfile 路径

    Dockerfile镜像构建指令文件,填写Dockerfile2,相对于代码库根目录所在路径。

    Group@1x (1)

  4. 配置好镜像构建并推送至阿里云镜像仓库任务,下方任务输出的变量是后续的任务中引用,其中有镜像公网地址和镜像VPC地址。

    说明

    推荐将镜像仓库和ACK集群放在同一个集群,然后在后续的部署任务中选择VPC地址,以加速部署过程

四、配置部署任务

  1. 在部署任务节点区域,单击“Kubernetes 发布”任务,进入任务配置面板。

  2. 集群连接:单击新建连接,连接到自定义Kubernetes或者阿里云容器服务集群,具体操作请参见Kubernetes 服务连接,进行ACK集群授权,完成阿里云授权及集群选取。

  3. YAML 路径:填写YAML对象资源文件所属目录路径,在源码仓库中的相对路径。

  4. 变量:配置Kubectl 发布任务所需的变量参数值。

    IMAGE

    添加上游任务制品或镜像下载地址类型的变量,填入IMAGE变量名,选择镜像公网地址作为变量值。在Flow运行时,将Deployment对象资源的占位符变量${IMAGE}替换成镜像的地址。

    HOST

    添加自定义参数类型变量自定义变量名,设置变量值为自定义域名,用于Ingress对象资源中的域名配置。

    说明

    根据需求自定义域名,本文为演示使用本地hosts文件解析测试。

    ACR_SECRET

    添加自定义参数类型变量自定义变量名,设置变量值为ACR个人实例镜像仓库访问凭证的Base64编码字符串,用于Secret对象资源的.dockerconfigjson认证信息。

    说明

    以下是ACR个人实例镜像仓库地址、账号和密码信息,使用JSON格式进行base64编码。

    # 镜像仓库访问凭证用户名和密码,进行base64编码。
    echo -n "username:password" | base64
    # 将用户名和密码的base64编码字符串作为auth键的值。
    # 再将镜像仓库地址也进行base64编码,输出最后编码字符串作为ACR_SECRET值。
    echo -n '{"auths":{"xxxxx.com":{"auth":"xxxxx"}}}' | base64

    Group@1x

示例代码库中的 app.yaml 文件内容如下。

# Secret
apiVersion: v1
kind: Secret
metadata:
  name: acr-registry-private
type: kubernetes.io/dockerconfigjson
data:
  .dockerconfigjson: ${ACR_SECRET}

---

# Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: spring-boot-sample
  name: spring-boot-sample
spec:
  replicas: 2
  selector:
    matchLabels:
      run: spring-boot-sample
  template:
    metadata:
      labels:
        run: spring-boot-sample
    spec:
      imagePullSecrets:
      - name: acr-registry-private
      containers:
      - image: ${IMAGE}
        name: app

---

# Service
apiVersion: v1
kind: Service
metadata:
  name: spring-boot-service
  labels:
    test: test
    labele2: label
spec:
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
    - name: https
      port: 443
      protocol: TCP
      targetPort: 443
  selector:
    run: spring-boot-sample
  sessionAffinity: None
  type: ClusterIP

---

# Ingress
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: spring-boot-route
spec:
  rules:
  - host: ${HOST} # 访问此内容的域名
    http:
      paths:
      - backend:
          service:
            name: spring-boot-service
            port:
              number: 8080 # 访问的端口
        path: / # 匹配规则
        pathType: Prefix # 匹配类型,这里为前缀匹配

五、添加人工卡点

  • 以下演示了如何添加一个进入测试环境的卡点,添加生产环境的卡点也是类似的,这里不再赘述,可以类似的进行配置。

  • 为了保证经过审批的制品才能进入部署环境,需要添加一个人工卡点,这里假设这个环境是测试环境,需要有测试管理员来审批才能进入。

  1. 在云效控制台页面,选择进入“企业管理后台”,选择导航菜单权限管理 > 企业权限,单击右上方添加角色,添加角色“测试管理员”。Group@1x

  2. 选择导航菜单成员管理 > 成员,并将企业用户“张三”的角色设置为“测试管理员”角色。Group@1x

  3. 回到流水线继续进行配置,在部署节点区域,任务“Kubernetes 发布”前面添加一个任务,搜索“人工卡点”,参考如下配置。Group@1x

  • 以上演示了如何添加一个进入测试环境的卡点,添加生产环境的卡点也是类似的,这里不再赘述,可以进行类似的配置。

六、运行流水线

  1. 人工卡点任务配置完毕,单击“保存并运行”触发流水线。

  2. 扫描、单测及构建上传的任务自动完成,并停在了卡点上,普通人员无权限通过。Group@1x

  3. 在右上角选择图标image,单击设置流水线信息,选择菜单成员管理,单击新增成员,添加张三用户,开通访问目标流水线的权限。切换到张三的账户之后,可以操作通过或者拒绝。Group@1x

  4. 如果张三用户验证通过后,流水线会进入Kubectl 发布的任务。Group@1x (1)

  5. 在Ingress对象资源中配置的域名,因此可以通过自定义的域名访问服务。

    说明

    关于使用的自定义域名是本地测试域名,需要在本地环境配置hosts解析,测试访问服务http://www.testflow.com/

    image

七、回滚

  • 如果发布完成之后发现线上服务有问题,则需要快速回滚。云效Flow提供了通过历史版本直接进行回滚的能力。

  • 在流水线运行页面点击“部署历史”,然后选择相应的部署任务,便可以看到该部署任务所有的成功部署记录Group@1x

  • 单击版本#16,进行“回滚”,即可回滚到#15版本。image

八、通知

为了更好的进行协作,Flow提供了通知能力在流水线不同的生命周期节点上进行通知。一般来讲开发团队会关心部署的成功和失败,那么可以将该事件推送到团队的钉钉群中,配置方式如下,单击“添加插件”,选择钉钉机器人通知,填入webhook地址,运行时机选择“失败”、“成功”。

k81

再次运行之后,就会收到相应的通知:

k82

总结

通过以上的操作流程,就可以建立起来一个协同多角色的流水线。接下来你可能想再了解其中的一些细节:

  1. 定制化代码扫描规则定制化扫描及单元测试通过规则

  2. 如何添加非ACK的K8s集群

  3. 如果不希望管理K8s YAML文件,只需要更新某个pod的某个容器的镜像,则可以把部署环境改成镜像升级的任务。