升级ACK灵骏集群

为避免过期版本集群存在的安全和稳定性风险,同时保证您业务的连贯性,容器服务ACK采用原地升级的方式升级ACK灵骏集群版本。您可以通过控制台升级集群的Kubernetes版本,也可以独立升级控制面和节点池,灵活控制升级节奏。本文介绍集群升级前后的注意事项、升级流程、操作步骤等。

为什么需要升级

ACK灵骏集群支持Kubernetes 1.20升级至1.22。

主动升级集群有以下好处:

  • 降低安全和稳定性风险:随着Kubernetes版本迭代,会不断优化及修复发现的安全及稳定性漏洞,长期使用过期版本集群会给业务带来安全和稳定性风险。

  • 使用新版本的新功能:随着社区Kubernetes版本的演进,新版本包含新的功能和改进,ACK也将适配新版本,为您带来更好的开发和运维体验。

建议您参照下文提前主动升级集群。

重要

升级集群时,容器服务ACK会对您的集群进行前置检查,但无法保证检查出所有不兼容的功能配置和API。根据安全责任共担模型,请您通过帮助文档、控制台信息、站内信等渠道关注版本发布情况,并在集群升级时提前了解相应版本的升级注意事项。

更多关于Kubernetes版本支持信息,请参见ACK灵骏Kubernetes版本概览及机制

注意事项(重要)

版本说明

您可以登录容器服务管理控制台,在集群页面的版本列查看集群的Kubernetes版本。确定待升级版本后,参见下方链接了解待升级版本的版本解读、废弃资源API、升级注意事项等,避免因高版本的功能变更导致业务功能不兼容,从而影响集群正常运行。

说明

如果您的HELM Chart YAML文件中使用了废弃资源,请及时修改。更多信息,请参见上方版本说明和废弃API说明

相关功能及自定义配置说明

如果您的集群中使用了如下相关功能,请仔细阅读以下说明及解决方案。

配置项

注意事项

推荐解决方案

Flexvolume存储

集群升级过程中,老版本的Flexvolume(v1.11.2.5及以前)挂载的OSS存储卷会被重新挂载。

若您的集群使用OSS存储卷,请在集群升级后重建相应的Pod。

同时,由于Flexvolume存储插件已经弃用,建议您将FlexVolume迁移至CSI插件。具体操作,请参见迁移FlexvolumeCSI

节点自动伸缩

如果您的集群使用了节点自动伸缩功能,为保证自动伸缩功能不受影响,集群在升级成功后会自动更新Cluster Autoscaler组件至最新版本。

确认Cluster Autoscaler组件版本正常。更多信息,请参见启用节点自动伸缩

节点资源预留

升级至Kubernetes v1.18后,ACK会默认配置节点资源预留。如果集群未配置资源预留且节点水位较高,升级后存在Pod驱逐后无法被快速调度的风险。

为节点预留部分资源,推荐CPU使用率不超过50%,内存使用率不超过70%。更多信息,请参见节点资源预留策略

Loadbalancer配置

集群外部访问集群时,需要通过SLB来访问。但当SLB设置externalTrafficPolicy: Local后,只有部署了相应后端Pod的节点才能访问到对应的SLB地址。如果集群节点或者Pod所在的节点上没有相应的后端服务Pod,可能导致网络不通,

检查是否完成对应配置,避免LoadBalancer暴露的SLB地址访问不通的风险。如有相关问题,请参见Kubernetes集群中访问LoadBalancer暴露的SLB地址不通

API Server

集群升级过程中,ACK竭力保障控制面的平滑升级,集群上的应用不会中断,但升级过程中可能会出现短暂的API Server中断。如果您的应用强依赖于API Server,例如需要对资源List-Watch,API Server重启会导致Watch 中断,需要您自行保证在中断时自动重试。

如果您的应用不访问API Server,将不会受到升级影响;如果需要访问API Server,则需要有失败重试的能力。

kubectl

集群升级后,请同步升级您本地的kubectl版本。

如果未及时升级,在使用本地kubectl的过程中可能会因为与集群API Server版本不同,发生类似invalid object doesn't have additional properties的报错。

安装或升级kubectl。具体操作,请参见安装kubectl

如果您对集群曾有自定义配置,请仔细阅读以下说明。

配置项

说明

网络

集群升级需要使用yum下载升级所需的软件包。如果您的集群曾自行修改节点的网络配置或者使用了自定义的操作系统镜像,需确保节点yum能正常使用。您可以执行yum makecache进行检查。

操作系统镜像

自定义操作系统镜像非容器服务官方严格验证。ACK无法完全保证升级成功。

其他

如果您对集群有过配置更改,例如打开了SWAP分区、曾通过黑屏操作修改kubelet配置等,集群升级过程有可能失败,或自定义配置有可能丢失。

升级说明

升级ACK集群时,包括控制面升级和节点池升级。大致流程如下。

image

升级前准备

确定待升级集群的Kubernetes版本后,仔细阅读待升级版本的ACK版本发布说明,了解升级注意事项,避免升级时潜在的功能不兼容问题。请在业务低峰期执行升级操作。

集群升级中

控制面和节点池升级前,均需通过前置检查,等待所有检查项均已通过或修复完成后,可进入后续的升级操作。

  • 控制面升级

    ACK托管集群ACK Serverless集群

    采用滚动升级的方式。升级控制面组件,包括kube-apiserverkube-controller-managerkube-scheduler

    ACK专有集群

    采用原地升级的方式,以更大程度地保证业务的连贯性,减少数据迁移和配置调整的风险。具体流程如下。

    1. ACK检测到您的集群需要进一步升级etcdContainer Runtime时,将依次升级Master节点上的etcdContainer Runtime。

    2. 依次选择Master节点,一次只升级一个Master节点,并展示当前正在升级的Master节点的编号。

    3. 升级Master组件,包括kube-apiserverkube-controller-managerkube-scheduler

    4. 升级Master节点上的kubelet。

  • 节点池升级

    节点池升级包括kubelet和容器运行时的升级。如运行时需从Docker升级为containerd,系统会通过替换系统盘(替盘升级)的方式完成升级,即更换磁盘的同时进行操作系统或应用程序的升级。请提前做好系统盘的备份工作。其他情况下,保持使用原地升级方式。更多信息,请参见升级节点池

    ACK将集群中的节点按照分批策略执行分批升级。

    • 根据节点池依次执行,同一时间只对一个节点池执行升级。

    • 同一个节点池内采用分批升级。第一批升级的节点数为1,后续的批次以2的幂数进行增长。如果暂停后重新恢复升级,依然遵循该分批策略。您可以在节点池升级页面配置每批升级节点的最大数量。具体操作,请参见升级节点池

集群升级后

核验集群版本信息,检查节点池运行是否正常,并检查集群业务运行是否正常。

操作步骤

升级控制面

  1. 登录容器服务管理控制台,在左侧导航栏选择集群列表

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择运维管理 > 集群升级

  3. 集群升级页面选择可升级的目标版本,然后单击前置检查,提前扫描集群升级可能存在的潜在风险。

    检查完成后,您可以在前置检查结果区域查看检查结果。

    • 结果正常时,升级检查成功,请继续进行集群升级操作。

    • 结果提示异常时,不影响当前集群的运行及集群状态。您可以参见推荐的解决方案进行修复。关于典型修复方案,请参见集群检查项及修复方案

      说明

      Kubernetes 1.20及以后版本的集群升级前检查时,会检查当前版本是否使用了废弃API,检查结果不会影响升级流程,仅作为提示信息。详细内容,请参见废弃API说明

  4. 前置检查通过后,单击立即升级,按照页面提示进行控制面的升级。

    升级过程中,您可以在页面右上角查看升级历史。

    升级完成后,请在集群列表查看集群版本,确认升级是否成功。新扩容节点的版本也将遵循控制面版本。

后续操作:升级节点池

控制面升级完成后,新扩容节点的版本遵循控制面的版本。建议您在业务低峰期尽快完成存量节点的升级,并在升级完成后查看kubelet版本,确认升级是否成功。具体操作,请参见升级节点升级灵骏节点池

集群升级常见问题

如何处理集群升级失败并提示the aliyun service is not running on the instance?

云助手不可用,导致升级命令下发失败。您可以在启动或停止云助手后,重新执行集群升级操作。具体操作,请参见启动、停止或者卸载云助手Agent

如何处理节点PLEG not healthy?

容器或者容器运行时无响应。请重启节点后重新执行升级。

参考信息:控制面及节点池升级流程

控制面升级流程

ACK灵骏集群将按照以下流程升级您集群的控制面。具体策略如下。

  1. 升级控制面和托管组件,包括kube-apiserver、kube-controller-managerkube-scheduler等。

  2. 升级Kubernetes组件,例如kube-proxy等。

节点池升级流程

ACK将集群中的节点按照分批策略执行分批升级。具体策略如下。

  • 根据节点池依次执行,同一时间只有一个节点池进行升级。

  • 在同一个节点池内进行分批升级。第一批升级的节点数为1,后续的批次以2的幂数进行增长。如果暂停后重新恢复升级,依然遵循该分批策略。您可以在节点池升级页面配置每批升级节点的最大数量,推荐设置为10。具体操作,请参见升级节点升级灵骏节点池

相关文档

当您在升级ACK灵骏集群过程中遇到问题,请参见集群检查项及修复方案进行定位和解决。