自定义节点池的kubelet参数配置

当kubelet参数默认配置无法满足业务需求、您希望对集群节点进行个性化调整时,您可以在节点池维度自定义节点的kubelet参数配置,调整节点行为。例如,您可以调整集群资源预留以调配资源用量、自定义节点压力驱逐阈值以缓解集群资源不足、调整拓扑管理器策略以提高系统性能等。

使用限制

  • 仅v1.20版本及以上的ACK集群支持自定义kubelet参数。如需升级集群,请参见手动升级集群

  • 仅v1.22版本及以上的ACK灵骏集群支持自定义kubelet参数。如需升级集群,请参见升级ACK灵骏集群

注意事项

  • 自定义kubelet参数按批次变更节点配置,节点池中已有节点将即时生效,新增节点也会使用新配置。生效时,kubelet进程将重启,可能会对节点运行和工作负载运行产生一定影响。请在业务低峰期操作。

  • 如果未配置evictionHard、kubeReserved或systemReserved,系统则会使用默认值配置资源预留。默认值的计算方式,请参见节点资源预留策略

  • 资源预留配置的改变,可能会造成节点的可分配资源变少。对于资源水位较高的节点,可能会触发节点驱逐。

  • 强烈不建议您通过黑屏操作自行定义控制台不支持的kubelet参数。黑屏操作存在很大的稳定性风险,需要您自行保证Userdata文件内容的正确性和兼容性,避免因配置错误或者配置被新版本弃用时导致节点不可用。

支持通过控制台自定义的kubelet参数

字段

说明

默认值

建议取值范围

allowedUnsafeSysctls

设置允许使用的非安全的sysctl或sysctl通配符(以*结尾的通配符模式)。是使用英文半角逗号(,)分隔的字符串序列。

重要

使用此参数前,请仔细评估相关风险并自行保证可用性。

不涉及

支持下述前缀的 sysctl 配置:

  • kernel.shm

  • kernel.msg

  • kernel.sem

  • fs.mqueue.

  • net.

containerLogMaxFiles

容器的日志文件个数上限。此值必须大于等于2,且容器运行时需为containerd。

10

[2, 10]

containerLogMaxSize

容器日志文件轮换生成新文件的最大阈值。容器运行时需为containerd。

100Mi

不涉及

eventRecordQPS

每秒可生成的事件数量。

5

[1, 50]

eventBurst

事件记录的个数的突发峰值上限。

10

[1, 100],且取值必须大于等于eventRecordQPS的值

featureGates

实验性特性的特性开关组。每个开关以key=value的形式表示。更多信息,请参见Feature Gates

image.png

重要

使用此参数前,请仔细评估相关风险并自行保证可用性。

不涉及

不涉及

kubeAPIQPS

与APIServer通信的每秒查询个数。

5

[1, 50]

kubeAPIBurst

每秒发送到APIServer的突发请求数量上限。

10

[1, 100],且取值必须大于等于kubeAPIQPS的值

registryPullQPS

镜像仓库的QPS上限。

5

[1, 50]

registryBurst

突发性镜像拉取的个数上限。

10

[1, 100],且取值必须大于等于registryPullQPS的值

serializeImagePulls

串行拉取镜像。

False

可选值:

  • False:建议值,以支持并行拉取镜像,提高Pod启动速度。

  • True:支持串行拉取镜像。

cpuManagerPolicy

CPU管理器策略。

none

可选值:

  • none

  • static

evictionHard

触发Pod驱逐操作的一组硬性门限。

imagefs.available<15%,memory.available<300Mi,nodefs.available<10%,nodefs.inodesFree<5%

evictionSoft

设置一组驱逐阈值。

evictionSoftGracePeriod

设置一组驱逐宽限期。

说明

需已设置evictionSoft。

kubeReserved

Kubernetes系统预留的资源配置。

默认自动计算,详细信息请参见节点资源预留策略

不涉及

maxPods

Node能运行的Pod最大数量。

不涉及。取决于机器规格和容器网络规划等物理资源配置。

不涉及

systemReserved

系统预留的资源配置。

默认自动计算,详细信息请参见节点资源预留策略

不涉及

readOnlyPort

kubelet无鉴权只读端口。

  • 集群版本为1.26及以上时,默认值为0。

  • 集群版本为1.26以下时,默认值为10255。

0

关于开放kubelet容器监控只读端口(10255)的风险,请参见【产品变更】迁移低版本ACK集群监控端口至鉴权端口

cpuCFSQuota

允许为设置了CPU限制的容器实施CPU CFS配额约束。

true

可选值:

  • true

  • false

cpuCFSQuotaPeriod

设置CPU CFS配额周期值。

需确保CustomCPUCFSQuotaPeriod特性门控已被启用

100ms

介于1毫秒和1秒之间,包含1毫秒和1秒。

podPidsLimit

每个Pod中可使用的PID个数上限。

16384

无。

memoryManagerPolicy

内存管理器需要使用的策略。

None

可选值:

  • None

  • Static

    使用此策略时,需已完成以下操作:

    • MemoryManager特性门控已被启用。

    • 已手动管理内存资源预留(systemReserved、kubeReserved、evictionHard、reservedMemory)并确保配置正确,即kube-reserved + system-reserved + eviction-hard = sum(reserved-memory),以避免节点不可用。您可以参见下图示例。image.png更多信息,请参见预留内存标志

topologyManagerPolicy

拓扑管理器策略。借助NUMA架构,数据可以被分配到相同的NUMA节点,以减少跨节点访问,提高系统性能。拓扑管理器可以做出与拓扑结构相对应的资源分配决定。更多信息,请参见控制节点上的拓扑管理策略

none

  • none(默认):不执行拓扑管理策略。

  • restricted:当同一NUMA节点的Pod无法满足资源请求时,kubelet不允许跨Pod实现资源请求。

  • best-effort:当同一NUMA节点的Pod无法满足资源请求时,kubelet允许跨Pod实现资源请求。

  • single-numa-node:kubelet仅允许在同一NUMA节点的Pod上分配CPU和设备资源。

imageGCHighThresholdPercent

配置镜像的磁盘用量百分比阈值,一旦镜像用量超过此阈值,镜像垃圾收集会一直运行。

配置时,此值需大于imageGCLowThresholdPercent取值。

85

[60, 95]

imageGCLowThresholdPercent

配置镜像的磁盘用量百分比阈值,镜像用量低于此阈值时不会执行镜像垃圾收集操作。

配置时,此值需小于imageGCHighThresholdPercent取值。

80

[30, 90]

reservedMemory

NUMA节点内存预留列表。

无。

无。

通过控制台自定义节点池kubelet参数

自定义kubelet参数生效时会重启kubelet进程,可能会对业务产生一定影响。请在业务低峰期进行操作。

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择节点管理 > 节点池

  3. 在节点池列表页面,单击目标节点池操作列下的更多> Kubelet配置

  4. 仔细阅读当前页面上的注意事项,单击自定义参数选择需要配置的参数,设置每批次的最大并行数,然后单击提交,按照页面指引完成操作。

    配置每批次的最大并行数后(推荐设置为10),kubelet配置将按批次对节点生效。执行需要一定时间,您可以在事件列表区域查看执行进度,并控制执行过程,例如暂停、继续、取消等。

    您可以使用暂停功能对已升级的节点进行验证。执行暂停操作时,正在配置中的节点会继续完成执行;还未执行的节点在任务继续前不会被执行自定义配置。

    说明

    建议尽快完成自定义配置任务。处于暂停状态的任务将在7天后自动取消,相关的事件和日志信息也会被清理。

FAQ

自定义配置会被弃用吗?

随着Kubernetes版本的演进,可能会有部分参数或FeatureGate被标记弃用或者从代码移除。如果受容器服务 Kubernetes 版管理的自定义参数在新的版本不再适用时,相关配置会在集群升级期间被移除弃用。

如何启用配置文件的方式管理kubelet?

容器服务 Kubernetes 版会根据社区的最佳实践调整kubelet配置的管理方式。在1.20版本之后,逐步将已经被标记弃用的kubelet启动命令(Command-Line Flags)改为配置文件。更多信息,请参见Kubelet Configuration (v1beta1)

新增节点(新创建的节点和新添加的节点)会同时保留配置文件和原有的配置方式;存量节点不受影响。如需将节点统一为配置文件管理的方式,您可以参见支持通过控制台自定义的kubelet参数触发自定义配置,以统一节点池内全量节点的配置。

如何自定义控制台不支持的参数?

强烈不建议您通过黑屏操作自行定义控制台不支持的kubelet参数。如需执行此操作,请在充分评估变更风险后,执行以下命令,修改节点池的Userdata。Userdata修改完成后,新扩容的节点将会带有您自行定义的配置。

echo 'KUBELET_CUSTOMIZED_ARGS=""' > /etc/kubernetes/kubelet-customized-args.conf
systemctl daemon-reload
systemctl restart kubelet

此外,针对支持通过控制台自定义的kubelet参数,请避免通过黑屏修改Userdata的方式来自行定义,避免配置冲突,继而导致节点池运维过程中产生非预期结果。

重要

黑屏操作存在很大的稳定性风险,需要您自行保证Userdata文件内容的正确性和兼容性,避免因配置错误或者配置被新版本弃用时导致节点不可用。

相关文档