本文介绍如何将Python应用通过云效流水线快速构建并部署到K8s。
一、背景
-
使用Python进行开发。
-
使用容器镜像的制品形式进行交付。
-
制品最终会运行在阿里云ACK或者其他K8s集群上。
那么本文档可以帮助您实现研发流程的协同自动化。
二、用户诉求
一般来说,使用K8s部署场景如下:
-
对源代码进行一定的质量检测,比如单元测试,代码扫描。
-
将源代码构建成为可交付的制品,也就是容器镜像。
-
对制品进行测试环境验证。
-
使用完成验证的制品进行线上部署。
-
使用基础设施即代码的方式,在代码库中管理与应用相关的所有YAML文件。使用这种方式,将K8s的编排能力完全交给开发,比较灵活,也更加利于DevOps的实施。
上述活动需要有不同角色的参与:开发、测试、运维。如何保证不同参与者可以使用统一的交付流程来进行协作,是云效Flow交付流水线要解决的主要问题。
三、云效解决方案
通过云效持续交付流水线和阿里云K8s很好的结合在一起,为应用的持续交付提供了很好的基础保障,如下图:

开发者提交代码变更到代码库,云效在监听着代码库的变动,一旦代码发生变化,将自动触发云效持续部署流水线一次构建任务的运行,包括代码检查、构建、测试部署、测试验证和生产部署等过程。其中,在构建完成后,生成Docker镜像,并自动上传至应用镜像仓库,在部署阶段(测试环境的部署和生产环境的部署)时,获取当前流水线实例构建出来的镜像版本,通过K8s进行容器编排部署。而这一切,都是通过自动化的手段完成。
四、云效操作实践
接下来以一个Python的代码库为例,讲解如何进行构建并以kubectl apply的方式部署到阿里云ACK。
构建并配置流水线
-
进入云效流水线Flow,单击右上角新建流水线,选择“Python·测试、构建镜像”模板后单击创建。
-
创建流水线之后单击添加流水线源,选择Flow提供的示例代码源,并进行添加。
-
修改阿里云镜像构建任务,添加服务连接,选择对应地域以及仓库(若没有镜像仓库,参考创建个人版实例)。在流水线的构建镜像阶段,单击阿里云镜像构建步骤,在右侧编辑面板中配置镜像构建参数:在选择服务连接中选择已创建的容器镜像服务(ACR)服务连接,选择对应地域(例如华东1(杭州)),选择目标仓库地址,设置镜像标签为
${DATETIME},确认Dockerfile路径为Dockerfile。 -
添加一个新的部署任务。在流水线中添加新阶段,单击新的任务,在任务选择面板中选择部署分类,然后选择Kubernetes 发布任务。
-
配置Kubernetes发布任务,在Kubectl发布步骤中单击新建连接,选择对应的ACK集群(若无集群,参考创建ACK托管集群)后保存,然后选择对应集群连接,配置YAML路径
manifest-app,最后添加上游任务类型的变量IMAGE并选择值为“镜像构建并推送至阿里云镜像仓库个人版.镜像公网地址”,流水线会替换YAML文件中的${IMAGE}。
添加人工审核机制
如果需要保证只有经过审批的制品才能进入部署环境,则还需要添加一个人工卡点,在上述流水线Kubernetes发布前添加如下任务:在流水线编辑页面的 流程配置 中,单击阶段之间的 + 按钮添加新阶段,然后在右侧任务选择面板中选择 工具 分类,单击 人工卡点 任务将其添加到流水线中。
在人工卡点任务中勾选需要添加的验证人并单击确定。添加人工卡点任务,将验证者方式设置为或签(一名审批人同意或拒绝即可),验证者类型设置为成员,然后在选择验证人弹窗中勾选企业成员作为审核人员。
流水线运行
配置完毕,单击保存并运行触发流水线:
扫描、单测及构建上传的任务自动完成,并停在了卡点上:流水线触发后依次完成流水线源、测试(含 Python 代码扫描与Python 单元测试)、构建镜像三个阶段,随后进入人工卡点阶段暂停等待审批,页面显示验证通过和验证不通过两个按钮。
单击验证通过,流水线会进入Kubernetes发布的任务,单击日志可以看到执行的日志详情:Kubectl 发布步骤执行成功(耗时 3s),构建阶段全部 5 个步骤(申请运行环境、克隆代码、流水线缓存、Kubectl 发布、缓存上传)均显示绿色对勾。执行日志显示使用 kubectl v1.16.4 将 manifest-app 路径下的 Manifests 定义文件应用到 ACK 集群(NAMESPACE=default,Server Version v1.31.1-aliyun.1)。
部署回滚
如果发布完成之后发现线上服务有问题,则需要快速回滚。云效Flow提供了通过历史版本直接进行回滚的能力。
在流水线运行页面单击部署历史,然后选择相应部署任务,便可以看到该部署任务所有部署成功记录。
单击版本#1的回滚,即可回滚到该版本。单击目标部署记录操作列的回滚按钮,在弹出的回滚信息对话框中确认当前版本和回滚目标版本,然后单击确定完成回滚。
流水线初次部署时页面上可能不显示部署历史页,此时尝试刷新页面可以解决。
通知
为了更好进行协作,Flow提供了通知能力在流水线不同的生命周期节点上进行通知。一般来讲开发团队会关心部署的成功和失败,那么可以将该事件推送到团队的钉钉群中,配置方式如下,单击添加插件,选择钉钉机器人通知,填入webhook地址,再次运行之后,就会收到相应的通知,具体请参考钉钉机器人发送群消息。
在插件配置面板中填写钉钉机器人的 Webhook 地址,并勾选需要通知的事件(如运行成功时通知、运行失败时通知等),完成后单击确定保存配置。