创建和管理灵骏节点池

创建前请注意

• 灵骏节点池默认将容器运行时数据存储到系统盘，请确保为容器运行时目录预留充足可用空间，若磁盘空间不足将导致 Pod 驱逐或节点异常。

• 新建灵骏节点池的 VPC 网络通信仅支持使用Terway独占ENI模式，请确认单节点Pod数限额满足业务需求。

• 灵骏节点池中的节点默认携带污点（Taint）node-role.alibabacloud.com/lingjun: NoSchedule，避免系统组件（非 DaemonSet）调度到灵骏节点上占用资源。若 Pod 需调度到灵骏节点，可为 Pod 添加对该Taint的容忍，实现仅特定工作负载调度到灵骏节点的效果。也可以根据业务需求，换为自定义Taint，实现相同效果。

  可在组件满足最低版本要求后删除 Taint，但删除Taint后，系统组件或者其他工作负载可能调度到灵骏节点，占用昂贵的 GPU 节点资源。

• 节点池默认携带的完整标签列表，请参见节点标签（Labels）配置项说明。请勿删除默认 Label。

操作步骤

1. 在ACK集群列表页面，单击目标集群名称，在集群详情页左侧导航栏，选择节点管理 > 节点池。

2. 单击... > 创建灵骏节点池，按照页面提示完成灵骏节点池的创建。

   节点池创建后，部分配置项可通过编辑节点池修改。下表中，是否支持修改代表节点池创建后对应的配置项是否支持修改。

   • 基础配置

     配置项	说明	是否支持修改
     节点池名称	自定义的节点池名称。	是
     地域	默认选择当前集群所在地域，不可更改。	否
     托管配置	白名单功能 启用托管节点池，使用ACK提供的自动化运维能力。	是
     容器运行时	仅支持containerd。	否

   • 灵骏资源

     配置项	说明	是否支持修改
     灵骏集群	可选择与ACK集群位于相同VPC的Lite类型的灵骏集群。	否
     灵骏分组	可选择与灵骏节点池位于相同VPC且未关联灵骏节点池的灵骏分组。	否

   • 存储

     自定义数据盘配置为白名单功能，可使用本功能将容器运行时目录挂载到本地数据盘。如需开通，请通过客户服务经理（PDSA）联系容器服务团队。

     重要

     • 节点池升级期间，若节点存储配置不一致，将按各节点的实际配置分别初始化。

     • 为保障稳定性，请确保为容器运行时目录预留充足可用空间，本地存储有丢失数据的风险，强烈建议使用云盘系统盘挂载容器运行时目录。

     配置项	说明	是否支持修改
     系统盘	当前灵骏分组下节点的云盘系统盘配置。使用本地系统盘时，此处不展示具体配置。 若未勾选配置本地盘挂载容器运行时目录，容器运行时目录默认挂载到系统盘（本地系统盘或云盘系统盘）。 重要 当容器运行时数据存储在系统盘时，若磁盘空间不足将导致 Pod 驱逐或节点异常。为保障稳定性，请确保系统盘预留充足可用空间，或者配置独立数据盘用于容器运行时。请参见节点磁盘空间不足-DiskPressure了解节点磁盘空间不足的解决方案。	不涉及
     数据盘	灵骏节点使用的本地数据盘。勾选配置本地盘挂载容器运行时目录后，将随机使用一块本地数据盘将挂载为容器运行时占用目录，包括 /var/lib/container、/var/lib/containerd、/var/lib/kubelet 以及 /var/log/pods 等目录。 可配置初始化设置：选择文件系统格式化方式（ext4 或 xfs）。仅对未格式化的本地盘生效。 重要 挂载目录须为空。非空目录挂载后，原有文件将无法访问。 灵骏节点池仅支持挂载容器运行时目录到本地数据盘，不支持挂载到云盘数据盘。本地存储有丢失数据的风险，将容器运行时目录挂载到本地盘后，灵骏节点在下线维修（备机替换）时，不保留本地盘数据，可能会导致kubelet、containerd等容器运行时信息被清除，节点状态异常。维修完成后，需手动将其从节点池移除，并通过添加已有节点重新加入灵骏节点池。若您不希望手动操作，请选择挂载到云盘系统盘中。 启用本功能时，请勿同时通过 ACK 实例预自定义数据或灵骏自定义数据（UserData）功能配置容器运行时目录，否则可能引发异常。	是

   • 高级选项（选填）

     展开查看

     配置项	说明	是否支持修改
     污点 （Taints）	为节点添加键值对污点。有效污点键包含前缀（可选）和名称。如果有前缀，用正斜线（/）分隔。 展开查看详细说明 键：名称长度为1~63个字符，必须以字母、数字或字符[a-z0-9A-Z]开头和结尾，中间可包含字母、数字、短划线（-）、下划线（_）、英文半角句号（.）。 如果指定前缀，必须为DNS子域，即一系列由英文半角句号（.）分隔的DNS标签，不超过253个字符，并以正斜线（/）结尾。 值：污点值可以为空，不超过63个字符，必须以字母、数字或字符[a-z0-9A-Z]开头和结尾，可包含字母、数字、短划线（-）、下划线（_）、英文半角句号（.）。 Effect： NoSchedule：不接受任何新的、不容忍此污点的Pod被调度到该节点，但已在运行的Pod不受影响。 NoExecute：不仅不接受任何新的、不容忍此污点的Pod被调度到该节点，还会驱逐节点上任何已在运行的、不容忍此污点的Pod。 PreferNoSchedule：ACK会尽量避免将Pod调度到存在其不能容忍污点的节点上，但不会强制执行。	是
     节点标签（Labels）	重要 创建灵骏节点池时，ACK将自动为节点池添加标签以启用独占ENI模式，创建后请勿删除。 不允许删除灵骏节点池默认添加的Label： service.alibabacloud.com/exclude-node alibabacloud.com/lingjun-worker alibabacloud.com/lingjun-hpnzone alibabacloud.com/lingjun-zoneid alibabacloud.com/lingjun-network-type: vpd alibabacloud.com/lingjun-machine-type k8s.aliyun.com/exclusive-mode-eni-type: eniOnly 为节点添加键值对标签。有效Key包含前缀（可选）和名称。如有前缀，前缀和名称之间用正斜线（/）分隔。 展开查看详细说明 Key：名称长度为1~63个字符，必须以字母数字字符[a-z0-9A-Z]开头和结尾，中间可包含字母、数字、短划线（-）、下划线（_）、英文半角句号（.）。 如果指定前缀，必须为DNS子域，即一系列由英文半角句号（.）分隔的DNS标签，不超过253个字符，以正斜线（/）结尾。 以下前缀由Kubernetes核心组件保留，不支持指定 kubernetes.io/ k8s.io/ 以kubernetes.io/和k8s.io/结尾的前缀。例如test.kubernetes.io/。 以下除外： kubelet.kubernetes.io/ node.kubernetes.io 以kubelet.kubernetes.io/结尾的前缀。 以node.kubernetes.io结尾的前缀。 Value：可以为空，不超过63个字符，必须以字母数字字符[a-z0-9A-Z]开头和结尾，可包含字母、数字、短划线（-）、下划线（_）和英文半角句号（.）。	是
     容器镜像加速	仅支持版本为1.6.34及以上的containerd运行时。 新添加的节点将自动识别容器镜像是否支持按需加载功能，若支持则默认通过按需加载加速容器启动，以缩短应用启动时间，详情请参见使用按需加载容器镜像加速容器启动。	是
     自定义节点名称	白名单功能，不适用于非灵骏节点池 说明：将灵骏节点的 Hostname 直接同步为节点的 NodeName。 示例： 实例 Hostname 为 test，则节点 NodeName 为 test。	否
     实例预自定义数据	节点加入集群前，将运行指定的实例预自定义User-Data脚本。 例如，指定预自定义数据为 touch /tmp/pre-script，则节点上组合后的脚本执行顺序如下。 #!/bin/bash # 输入的实例预自定义数据在此处执行 touch /tmp/pre-script # ACK节点初始化脚本在此处执行	是
     实例自定义数据	节点加入集群后，将运行指定的实例自定义User-Data脚本。 例如，指定实例自定义数据为 touch /tmp/post-script，则节点上组合后的脚本执行顺序如下。 #!/bin/bash # ACK节点初始化脚本在此处执行 # 输入的实例自定义数据在此处执行 touch /tmp/post-script 创建集群或扩容节点成功不代表实例自定义脚本执行成功。可登录节点执行grep cloud-init /var/log/messages查看执行日志。	是

Terway独占ENI模式说明

灵骏节点池仅支持 Terway 独占 ENI 模式（Terway 自 v1.14.4 起支持）。为兼容不同灵骏机型和镜像的底层网络差异，建议将 Terway 升级至 v1.16.8 及以上，请参见最低版本要求升级terway-eniip。

创建灵骏节点池时，ACK将自动为节点池添加标签k8s.aliyun.com/exclusive-mode-eni-type: eniOnly，以启用独占ENI模式，创建后请勿删除。详见为节点池配置独占ENI网络模式。

如果灵骏节点池未添加该标签，则表明该节点池使用了共享ENI网络模式。

适用范围

• 待添加的节点实例须已在本节点池关联的灵骏分组中，且未加入其他节点池。

• 灵骏节点的（OperatingState）状态为使用中（Using）状态。

操作步骤

1. 在ACK集群列表页面，单击目标集群名称，在集群详情页左侧导航栏，选择节点管理 > 节点池。

2. 在节点池页面，单击⋮ > 添加已有节点，按照页面提示完成以下配置：

   • 添加已有灵骏节点实例：在实例列表选择待添加的实例。勾选显示不可用的实例可查看当前不可用的实例。

   • 数据盘挂载：选择数据盘的挂载方式。

     仅在已开通自定义数据盘配置白名单时开放

     • 按节点池配置：使用节点池预设的数据盘配置初始化并挂载数据盘。

       若节点池未预设数据盘配置，则保留节点原有配置。

     • 不初始化：不对数据盘进行初始化操作，保留节点原有数据盘配置。

       重要

       • 若各节点的存储配置不同，节点池升级期间，系统将按各节点的实际存储配置分别初始化数据盘，而非使用统一配置。

       • 使用按节点池配置时，挂载目录须为空。非空目录挂载后，原有文件将无法访问。

   添加完成后，ACK会自动在灵骏节点实例上添加以下标签，可在智能计算灵骏控制台查看：

   • ack.aliyun.com：纳管该节点的ACK托管集群Pro版ID。

   • ack.alibabacloud.com/nodepool-id：纳管该节点的灵骏节点池ID。

注意事项

• 排空节点：

  • 节点上存在 Pod 时，请勾选自动排空节点（drain），并确保集群资源充足，Pod 将自动迁移到其他节点。

  • 若应用配置了PDB，可能导致排空失败，进而导致移除失败。建议提前手动处理。

  • 排空后，若应用在其他节点上无法正常启动，移除任务将忽略此情况并继续执行。

  • 移除异常状态的节点时，请勿勾选自动排空节点（drain），否则可能导致移除失败。

• 移除后的节点状态：

  移除灵骏节点仅将节点从灵骏节点池移出，不会将节点从灵骏分组中移出，也不会自动释放或退订节点。

  添加到节点池的灵骏节点实例不会随 ACK 集群或灵骏节点池的删除而释放，也不会从灵骏分组中自动缩容。请关注灵骏节点的计费状态，避免产生额外费用。

  如需进行更多节点与分组的管理操作，请前往智能计算灵骏控制台操作。

  移除为异步操作，请在节点列表中查看移除进度。

操作步骤

1. 在ACK集群列表页面，单击目标集群名称，在集群详情页左侧导航栏，选择节点管理 > 节点池。

2. 单击目标灵骏节点池名称，在节点管理页面移除节点。

   • 单个节点移除：定位目标节点，在该节点右侧操作列，选择更多 > 移除。

   • 批量节点移除：选中目标节点，单击页面下方的批量移除。

3. 选择是否需要自动排空节点（drain），仔细阅读页面注意事项后按照页面提示完成操作。

使用RDMA功能

为启用Pod在灵骏节点的RDMA网络通信，请先在组件管理页面手动安装ack-rdma-device-plugin组件。具体使用方式请参见Pod在灵骏节点使用RDMA网络。

为什么维修后节点仍是未就绪（Not Ready）状态？

• 现象：灵骏节点由于硬件问题进行了下线维修，但维修完成后，ACK集群中节点状态仍然是未就绪（Not Ready）状态。

• 原因：灵骏节点下线维修期间将进行换机操作，不保留本地盘数据，可能会导致kubelet、containerd等容器运行时信息被清除，节点状态异常。

• 解决方案：维修完成后，需手动将其从节点池移除，并通过添加已有节点重新加入灵骏节点池。