调度工作负载至Arm节点

ACK集群默认会将所有工作负载调度到x86架构的Worker节点。如果您的集群中既有Arm节点,又有非Arm节点(例如x86节点),为了确保只兼容Arm架构的工作负载调度到Arm节点,或多架构镜像优先调度到Arm节点,您可以基于Kubernetes原生调度配置来实现。

前提条件

  • 已创建Arm集群或Arm节点池,且集群版本符合要求。具体操作,请参见配置ARM节点池

    Arm实例开放的地域及可用区是有限制的,请保证集群在已开放地域。查询Arm实例开放的地域及可用区,请参见ECS实例规格可购买地域总览

  • 已安装Kube Scheduler组件。具体操作,请参见kube-scheduler

注意事项

如果您的ACK集群同时存在Arm节点和x86节点,为了防止不支持Arm的应用和组件被错误地调度到Arm节点,请为Arm节点添加污点kubernetes.io/arch=arm64:NoSchedule。如果您的集群版本为v1.24之前,在使用nodeSelector或者nodeAffinity指定应用调度至Arm节点时,您需要同时声明污点容忍kubernetes.io/arch=arm64:NoScheduletolerations。如果您的集群版本为v1.24版本及之后,调度器能够自动识别Arm节点的污点kubernetes.io/arch=arm64:NoSchedule,无需您额外声明tolerations

相关计费

创建的Arm架构类型的ECI Pod,按照实际生成的ECS规格进行计费,不按照vCPU和内存计费。

重要

ECI Pod创建成功后,您可以执行kubectl describe pod命令查看其YAML详情。通过k8s.aliyun.com/eci-instance-spec字段确认ECI Pod实际使用的ECS规格,ECI会按照该ECS规格进行计费。

关于Arm架构的ECS规格的详细信息,请参见:

指定Arm架构的工作负载调度到Arm节点

如果您的集群中既有Arm节点也有非Arm节点,且您的应用只支持Arm架构,您可以指定应用运行在Arm节点上,以免应用Pod被调度到非Arm节点上导致启动失败。所有Arm节点上默认带有Labelkubernetes.io/arch=arm64,您可以通过两种方式nodeSelector和nodeAffinity指定应用部署到Arm节点上。

使用nodeSelector

您可以在Pod上增加如下约束,使用nodeSelector将Pod调度到Arm架构的节点上。nodeSelector将指定此工作负载仅调度到具有arm64标签的节点,ACK集群的Arm架构的节点都具有此标签。

nodeSelector:
  kubernetes.io/arch: arm64 # 指定Arm节点。

您可以使用以下示例代码将一个无状态应用部署到Arm节点。

展开查看YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: only-arm
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      nodeSelector:
        kubernetes.io/arch: arm64 # 指定Arm节点。
      containers:
      - name: nginx
        image: nginx

使用nodeAffinity

您可以在Pod上增加如下约束,使用节点亲和性声明指定应用部署到Arm节点上。此约束指定Pod只能被调度到带有Label kubernetes.io/arm=arm64的节点上。

当Pod Spec上带有此约束时,调度器自动容忍节点上的污点kubernetes.io/arch=arm64:NoSchedule

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/arch
          operator: In
          values:
          - arm64

您可以使用以下示例代码将一个无状态应用部署到Arm节点。

展开查看YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: only-arm
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 1
  template:
    metadata:
      labels:
        app: nginx
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - arm64
      containers:
      - name: nginx
        image: nginx

指定多架构镜像调度到Arm节点

ACK集群默认会将所有工作负载调度到x86架构的节点,并在x86节点资源不足时保持等待x86节点资源。如果您的应用镜像为多架构镜像,例如同时支持x86和Arm架构,您需要配置跨x86和Arm架构的节点调度。

例如,您可以通过配置节点亲和性,使工作负载优先调度到Arm架构或x86架构的节点上,并在目标类型的节点资源不足时尝试调度至其他架构类型的节点。

      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - arm64

将工作负载优先调度到Arm架构

优先调度到Arm架构的节点上的工作负载示例如下。

展开查看YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: arm-prefer
spec:
  replicas: 1
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
# 优先调度到Arm架构的节点上。
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - arm64
      containers:
      - name: my-container
        image: nginx

将工作负载优先调度到x86架构上

优先将工作负载调度至x86架构的节点的示例如下。

展开查看YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: amd-prefer
spec:
  replicas: 1
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      tolerations:
# 优先调度到x86架构的节点上。
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - amd64
      containers:
      - name: my-container
        image: nginx

常见问题

是否可以使用Arm架构类型的竞价(Spot)实例?

目前已经提供Arm架构的竞价实例。关于使用方式,请参见使用抢占式实例

在ACK集群中使用Arm架构节点的限制?

目前,对于Arm架构,组件中心仅支持以下组件:

  • 核心组件

  • 日志和监控

  • 存储

  • 网络

应用市场的组件不支持Arm。

相关文档