文档

动态资源超卖

更新时间:

ack-koordinator提供动态资源超卖功能,通过对节点负载数据的实时收集,可以充分挖掘集群中已分配但未使用的资源量,以实现对集群资源的动态超卖。本文主要介绍如何使用动态资源超卖功能。

前提条件

费用说明

ack-koordinator组件本身的安装和使用是免费的,不过需要注意的是,在以下场景中可能产生额外的费用:

  • ack-koordinator是非托管组件,安装后将占用Worker节点资源。您可以在安装组件时配置各模块的资源申请量。

  • ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了ACK-Koordinator开启Prometheus监控指标选项并使用了阿里云Prometheus服务,这些指标将被视为自定义指标并产生相应费用。具体费用取决于您的集群规模和应用数量等因素。建议您在启用此功能前,仔细阅读阿里云Prometheus计费说明,了解自定义指标的免费额度和收费策略。您可以通过账单和用量查询,监控和管理您的资源使用情况。

背景信息

在Kubernetes系统中,Kubelet通过参考Pod的QoS等级来管理单机容器的资源质量,例如OOM(Out of Memory)优先级控制等。Pod的QoS级别分为Guaranteed、Burstable和BestEffort。QoS级别并不是显式定义,而是取决于Pod配置的Request和Limit(CPU、内存)。

为了提高稳定性,应用管理员在提交Guaranteed和Burstable这两类Pod时会预留相当数量的资源Buffer来应对上下游链路的负载波动,在大部分时间段,容器的Request会远高于实际的资源利用率。为了提升集群资源利用率,应用管理员会提交一些QoS为BestEffort的低优任务,来充分使用那些已分配但未使用的资源,实现对集群资源的超卖,其缺点如下:

  • 节点可容纳低优任务的资源量没有任何参考,即使节点实际负载已经很高,由于BestEffort任务在资源规格上缺少容量约束,仍然会被调度到节点上运行。

  • BestEffort任务间缺乏公平性保证,任务资源规格存在区别,但无法在Pod描述上体现。

缺点

针对以上问题,ACK的差异化SLO(Service Level Objectives)提供了将这部分资源量化的能力。将上图中的红线定义为Usage,蓝线到红线预留部分资源定义为Buffered,绿色覆盖部分定义为Reclaimed。

如下图所示,Reclaimed资源代表可动态超卖的资源量。ack-koordinator会根据节点真实负载情况动态更新,并以标准扩展资源的形式实时更新到K8s的Node元信息中。低优的BestEffort任务可以通过在Request和Limit中定义的Reclaimed资源配置来使用这部分资源,这部分配置同时也会体现在节点侧的资源限制参数上,保证BestEffort作业之间的公平性。

为体现与原生资源类型的差异性,ack-koordinator使用“Batch”优先级的概念描述该部分超卖资源,以下简称batch-cpu和batch-memory。

动态资源超卖

使用限制

组件

版本要求

Kubernetes

≥v1.18

ack-koordinator

≥0.8.0

Helm版本

≥v3.0

操作步骤

  1. 使用以下命令,查看当前Batch资源总量。

    查看前请确保对应配置已经开启,详见步骤3中的描述。

    # 将$nodeName替换为要查询的目标节点名称。
    kubectl get node $nodeName -o yaml

    预期输出:

    #Node
    status:
      allocatable:
        # 单位为千分之一核,以下表示50核。
        kubernetes.io/batch-cpu: 50000
        # 单位为字节,以下表示50 GB。
        kubernetes.io/batch-memory: 53687091200
  2. 创建Pod并申请Batch资源。在Label中指定QoS等级,并在Request和Limit中添加对应的Batch资源配置,即可让Pod使用动态超卖资源,具体示例如下。

    #Pod
    metadata:
      labels:
        # 必填,标记为低优先级Pod。
        koordinator.sh/qosClass: "BE"
    spec:
      containers:
      - resources:
          requests:
            # 单位为千分之一核,如下表示1核。
            kubernetes.io/batch-cpu: "1k"
            # 单位为字节,如下表示1 GB。
            kubernetes.io/batch-memory: "1Gi"
          limits:
            kubernetes.io/batch-cpu: "1k"
            kubernetes.io/batch-memory: "1Gi"

    申请Batch资源需注意:

    • 若您通过Deployment或其它类型工作负载提交Pod,只需在对应的模板字段中参照上述示例,采用相同格式填写即可。同一个Pod不能同时申请Batch资源和普通的CPU或Memory资源。

    • 由于节点的Batch资源总量根据当前实际负载动态计算得到,在边界情况下可能会因Kubelet未及时同步而被拒绝,此时您可以直接将被拒绝的Pod进行删除。

    • 受K8s的约束,扩展资源必须以整数形式表达,因此batch-cpu资源需要以千分之一核为单位进行配置。

  3. 管理动态超卖资源。

    节点的Batch容量根据实际的资源利用率情况动态计算得到,CPU和内存维度默认的计算过程可以按如下公式简单推导:

    nodeBatchAllocatable = nodeAllocatable * thresholdPercent - podUsage(non-BE) - systemUsage

    计算公式中各因子的含义如下:

    • nodeAllocatable:节点可分配资源总量。

    • thresholdPercent:预留水位比例。

    • podUsage(non-BE):高优先级Pod的资源用量,即非BE类型Pod的资源使用量。

    • systemUsage:节点系统资源真实用量。

    同时,对于内存维度的资源超卖,ack-koordinator还支持按请求量(Request)计算,具体配置参考后文有关memoryCalculatePolicy的描述,公式如下。其中podRequest(non-BE)表示高优先级Pod的资源请求量,即非BE类型Pod的资源请求量(Request)之和。

    nodeBatchAllocatable = nodeAllocatable * thresholdPercent - podRequest(non-BE) - systemUsage

    公式中的thresholdPercent为可配置参数,通过修改ConfigMap中的配置项可以实现对资源的灵活管理,配置示例及详细说明如下。

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: ack-slo-config
      namespace: kube-system
    data:
      colocation-config: |
        {
          "enable": true,
          "metricAggregateDurationSeconds": 60,
          "cpuReclaimThresholdPercent": 60,
          "memoryReclaimThresholdPercent": 70,
          "memoryCalculatePolicy": "usage"
        }

    字段名称

    格式

    含义

    enable

    Boolean

    表示是否开启节点Batch资源的动态更新,关闭时Batch资源量会被重置为0。默认值为 false

    metricAggregateDurationSeconds

    Int

    Batch资源最小更新频率,单位为秒。通常建议保持为1分钟不必修改。

    cpuReclaimThresholdPercent

    Int

    计算节点batch-cpu资源容量时的预留系数。默认值为65,单位为百分比。

    memoryReclaimThresholdPercent

    Int

    计算节点batch-memory资源容量时的预留系数。默认值为65,单位为百分比。

    memoryCalculatePolicy

    String

    计算节点batch-memory资源容量时的策略。

    • "usage":默认值,表示batch-memory内存资源按照高优先级Pod的内存真实用量计算,包括了节点未申请的资源,以及已申请但未使用的资源量。

    • "request":表示batch-memory内存资源按照高优先级Pod的内存请求量计算,仅包括节点未申请的资源。

    说明

    ack-koordinator在单机端提供了针对Batch资源的压制和驱逐能力,包括弹性资源限制容器内存QoS容器L3 Cache及内存带宽隔离,能够有效避免低优的BestEffort容器带来的干扰问题。

  4. 查看命名空间kube-system下是否存在ConfigMap ack-slo-config

    • 若存在ConfigMap ack-slo-config,请使用PATCH方式进行更新,避免干扰ConfigMap中其他配置项。

      kubectl patch cm -n kube-system ack-slo-config --patch "$(cat configmap.yaml)"
    • 若不存在ConfigMap ack-slo-config,请执行以下命令进行创建Configmap。

      kubectl apply -f configmap.yaml
  5. (可选)通过Prometheus查看Batch资源使用情况。

    如果您首次使用该功能的大盘,请确保动态资源超卖大盘已经升级到最新版本。关于升级的具体操作,请参见相关操作

    通过ACK控制台Prometheus监控查看Batch资源使用情况的具体操作如下:

    1. 登录容器服务管理控制台,在左侧导航栏选择集群

    2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择运维管理 > Prometheus 监控

    3. Prometheus监控页面,单击成本分析/资源优化页签,然后单击在离线混部页签。

      您可以在在离线混部页签查看详细数据,包括集群以及单个节点的Batch总量和已申请量。更多信息,请参见基础监控

    # 节点batch-cpu可分配总量。
    koordlet_node_resource_allocatable{resource="kubernetes.io/batch-cpu",node="$node"}
    # 节点batch-cpu已分配量。
    koordlet_container_resource_requests{resource="kubernetes.io/batch-cpu",node="$node"}
    # 节点batch-memory可分配总量。
    kube_node_status_allocatable{resource="kubernetes.io/batch-memory",node="$node"}
    # 节点batch-memory已分配量。
    koordlet_container_resource_requests{resource="kubernetes.io/batch-memory",node="$node"}

使用样例

  1. 使用以下命令,查看节点Reclaimed资源总量。

    查看前请确保对应配置已经开启,详见步骤3中的描述。

    kubectl get node $nodeName -o yaml

    预期输出:

    #Node信息
    status:
      allocatable:
        # 单位为千分之一核,以下表示50核。
        kubernetes.io/batch-cpu: 50000
        # 单位为字节,以下表示50 GB。
        kubernetes.io/batch-memory: 53687091200
  2. 使用以下YAML内容,创建名为be-pod-demo.yaml文件。

    apiVersion: v1
    kind: Pod
    metadata:
      lables:
        koordinator.sh/qosClass: "BE"
      name: be-demo
    spec:
      containers:
      - command:
        - "sleep"
        - "100h"
        image: polinux/stress
        imagePullPolicy: Always
        name: be-demo
        resources:
          limits:
            kubernetes.io/batch-cpu: "50k"
            kubernetes.io/batch-memory: "10Gi"
          requests:
            kubernetes.io/batch-cpu: "50k"
            kubernetes.io/batch-memory: "10Gi"
      schedulerName: default-scheduler
  3. 使用以下命令,部署be-pod-demo作为目标评测应用。

    kubectl apply -f be-pod-demo.yaml
  4. 在单机端的cgroup分组中查看BE Pod资源限制的生效情况。

    1. 使用以下命令,查看CPU资源限制参数。

      cat /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/cpu.cfs_quota_us

      预期输出:

      #容器对应的CPU Cgroup为50核。
      5000000
    2. 使用以下命令,查看Memory资源限制参数。

      cat /sys/fs/cgroup/memory/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/memory.limit_in_bytes

      预期输出:

      #容器对应的Memory Cgroup为10 GB。
      10737418240

常见问题

当前已通过ack-slo-manager的旧版本协议使用了动态资源超卖功能,升级为ack-koordinator后是否继续支持?

旧版本的动态资源超卖协议包括两部分:

  • 在Pod的Annotation中填写的alibabacloud.com/qosClass

  • 在Pod的Request和Limit中填写的alibabacloud.com/reclaimed

ack-koordinator兼容以上旧版本协议,并在ACK Pro调度器中统一计算新旧版本协议的资源申请量和可用量。您可将组件无缝升级至ack-koordinator。

说明

ack-koordinator对旧版本协议的兼容期限截止至2023年07月30日。强烈建议您将原协议资源字段及时升级到新版本。

ACK Pro调度器和ack-koordinator对各版本协议的适配如下。

ACK调度器版本

ack-koordinator版本(ack-slo-manager)

alibabacloud.com协议

koordinator.sh协议

≥1.18且<1.22.15-ack-2.0

≥0.3.0

支持

不支持

≥1.22.15-ack-2.0

≥0.8.0

支持

支持

应用使用了Batch资源后,内存资源用量突然变得更高是什么原因?

对于在Pod资源限制Limit中配置了kubernetes.io/batch-memory的应用(简称batch limit),koordinator会等待容器创建后根据batch limit在节点上为其设置cgroup限制参数。由于部分应用在启动时会根据容器cgroup参数自动申请内存,若应用在cgroup的memory.limit参数设置前就启动完成,其内存的真实用量可能会超过batch limit。而受操作系统约束,这时容器的内存cgroup参数将无法设置成功,直至其真实用量降低至batch limit以下才会设置成功。

对于这种情况,我们建议适当修改应用配置参数,控制其内存真实用量在batch limit以下,或在应用启动脚本中首先检查内存限制参数,确认设置完成后再启动,确保应用的内存用量得到合理限制,避免出现OOM等情况。

在容器内执行以下命令,可以查看内存资源限制参数。

# 单位为字节
cat /sys/fs/cgroup/memory/memory.limit_in_bytes 
1048576000
  • 本页导读 (1)