Koordinator Descheduler与Kubernetes Descheduler的对比说明

阅读前提示

本文主要面向使用社区Kubernetes Descheduler的用户，介绍Koordinator Descheduler与Kubernetes Descheduler的关联，并指引如何完成组件的迁移。阅读本文前，期望您已经了解社区Kubernetes Descheduler的功能说明、接口属性、策略配置（例如系统配置、模板概要配置、策略插件配置、驱逐器插件配置）等内容。

Koordinator Descheduler与Kubernetes Descheduler的关联

社区Kubernetes Descheduler在发布0.25.0前设计了Descheduling Framework，支持以插件式框架的方式管理重调度的工作周期。Descheduling Framework主要包含两个核心任务：

• 将现有的重调度策略和Pod驱逐逻辑进行插件化改造，提高重调度策略的灵活性。

• 实现一个运行时环境，支持插件的加载、执行，并管理整个重调度的工作周期。

在Kubernetes Descheduler发布0.26.0版本后，Koordinator Descheduler在v1.2.0版本完成了对社区重调度器全部的策略和驱逐插件DefaultEvictor的引入，并进一步提供了驱逐器插件MirgrationController。

功能差异

Koordinator Descheduler能够兼容Kubernetes Descheduler的绝大多数使用场景，但二者在配置方法、重调度策略、驱逐器与驱逐控制能力等方面具有一定的差异。主要如下。

1. 由于Koordinator Descheduler在Descheduler Framework方面的研发早于Kubenetes Descheduler，所以使用了不同的配置接口v1alpha2/DeschedulerConfiguration。

2. Koordinator Descheduler中新增了感知节点真实利用率的LowNodeLoad负载热点打散重调度策略插件。Kubernetes原生的Descheduler插件LowNodeUtilization根据资源分配率决定如何进行重调度，而LowNodeLoad则基于节点真实利用率，更为精准。关于LowNodeLoad插件的详细介绍，请参见使用负载热点打散重调度。

3. Koordinator Descheduler中新增了MigrationController作为Pod驱逐器。MigrationController支持更加安全、更丰富的驱逐控制能力，请参见驱逐器插件配置。

配置示例对比

下面以开启RemovePodsViolatingNodeTaints策略（RemovePodsViolatingNodeTaints）为例，对比Kubernetes Descheduler和Koordinator Descheduler的配置格式，配置版本由apiVersion和kind两个字段定义。各版本的组件支持情况如下。

• Kubernetes Descheduler配置示例

  • v0.27.0以下版本，使用的配置版本为descheduler/v1alpha1/DeschedulerPolicy

    # 接口属性。
    apiVersion: "descheduler/v1alpha1"
    kind: "DeschedulerPolicy"
    
    # 以下为系统配置。
    nodeSelector: "node=node1"
    maxNoOfPodsToEvictPerNode: 10
    maxNoOfPodsToEvictPerNamespace: 10
    
    # 以下为驱逐配置。在另外两种配置接口中，这些参数属于驱逐器插件的配置项。
    evictFailedBarePods: false
    evictLocalStoragePods: true
    evictSystemCriticalPods: true
    evictDaemonSetPods: false
    ignorePvcPods: false
    
    # 以下为策略配置。在另外两种配置接口中，以重调度模板的形式提供，并拆分成插件启停和插件参数两部分。
    strategies:
      "RemovePodsViolatingNodeTaints":
        enabled: true
        params:
          nodeFit: true # nodeFit需要在每个策略中打开。在另外两种配置接口中，nodeFit属于驱逐器插件的配置项。
          excludedTaints:
            - deschedule=not-allow # 忽略包含key为"deschedule"且value为"not-allow"的污点的节点。

  • v0.27.0及以上版本，使用的配置版本为descheduler/v1alpha2/DeschedulerPolicy

    # 接口属性。
    apiVersion: "descheduler/v1alpha2"
    kind: "DeschedulerPolicy"
    
    # 以下为系统配置。
    nodeSelector: "node=node1" 
    maxNoOfPodsToEvictPerNode: 10
    maxNoOfPodsToEvictPerNamespace: 10
    # 以上为系统配置。
    
    # 以下为模板列表。
    profiles:
    - name: kubernetes-descheduler  # 指定重调度模板的名称。
        
      # 以下为模板概要配置。 
      plugins:      
        deschedule:
          enabled:
            - "RemovePodsViolatingNodeTaints" # enabled字段的数据类型是字符串列表。
        balance:
          disabled: 
            - "*"
      # 以上为模板概要配置。         
          
      # 以下为插件列表。
      pluginConfig:
        
      # 以下为策略插件RemovePodsViolatingNodeTaints的配置。    
      - name: RemovePodsViolatingNodeTaints # 节点污点校验插件配置。
          args:        
            excludedTaints: 
            - deschedule=not-allow # 忽略包含key为"deschedule"且value为"not-allow"的污点的节点。
        
      # 以下为驱逐器插件DefaultEvictor的配置。  
      - name: "DefaultEvictor"
        args:                
          evictFailedBarePods: false
          evictLocalStoragePods: true
          evictSystemCriticalPods: true
          evictDaemonSetPods: false
          ignorePvcPods: false
          nodeFit: true # nodeFit作为驱逐器插件的配置项。               

• Koordinator Descheduler的配置示例

  配置版本为descheduler/v1alpha2/DeschedulerConfiguration

  # 接口属性。
  apiVersion: descheduler/v1alpha2
  kind: DeschedulerConfiguration
  
  # 以下为系统配置。
  dryRun: false  
  deschedulingInterval: 120s 
  nodeSelector: 
    node: node1 # nodeSelector的数据类型与其他两个配置接口不同。
  maxNoOfPodsToEvictPerNode: 10 
  maxNoOfPodsToEvictPerNamespace: 10 
  # 以上为系统配置。
  
  # 以下为模板列表。            
  profiles:
  - name: koord-descheduler
    
    # 以下为模板概要配置。
    plugins:
      deschedule: 
        enabled: 
          - name: RemovePodsViolatingNodeTaints # enabled字段的数据类型是结构体列表。          
      balance: 
        disabled: 
          - name: "*" 
      evict: # 支持通过evict字段配置需要使用的驱逐器。          
        enabled:
          - name: MigrationController # 默认开启MigrationController。 
          # - name: DefaultEvictor # 可选DefaultEvictor。 
      filter: # 支持通过filter字段配置需要使用的驱逐筛选策略。 
        enabled:
          - name: MigrationController # 默认开启MigrationController。
          # - name: DefaultEvictor # 可选DefaultEvictor。
    # 以上为模板概要配置。
            
    # 以下为插件列表。
    pluginConfig:
      
    # 以下为策略插件RemovePodsViolatingNodeTaints的配置。    
    - name: RemovePodsViolatingNodeTaints # 节点污点校验插件配置。
        args:        
          excludedTaints: 
          - deschedule=not-allow # 忽略包含key为"deschedule"且value为"not-allow"的污点的节点。
      
    # 以下为驱逐器插件DefaultEvictor的配置。  
    - name: "DefaultEvictor"
      args:                
        evictFailedBarePods: false
        evictLocalStoragePods: true
        evictSystemCriticalPods: true
        evictDaemonSetPods: false
        ignorePvcPods: false
        nodeFit: true # nodeFit作为驱逐器插件的配置项。    

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "RemovePodsViolatingNodeAffinity"
      args:
        nodeAffinityType:
        - "preferredDuringSchedulingIgnoredDuringExecution"
    plugins:
      deschedule:
        enabled:
          - "RemovePodsViolatingNodeAffinity"

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "RemovePodsViolatingTopologySpreadConstraint"
      args:
        constraints:
          - DoNotSchedule
        topologyBalanceNodeFit: false  
    plugins:
      balance:
        enabled:
          - "RemovePodsViolatingTopologySpreadConstraint"

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "RemovePodsHavingTooManyRestarts"
      args:
        states:
        - "CrashLoopBackOff"
    plugins:
      deschedule:
        enabled:
          - "RemovePodsHavingTooManyRestarts"

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "PodLifeTime"
      args:
        states:
        - "CrashLoopBackOff"
        - "ImagePullBackOff"
    plugins:
      deschedule:
        enabled:
          - "PodLifeTime"

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "RemoveFailedPods"
      args:
        exitCodes:
        - 1
    plugins:
      deschedule:
        enabled:
          - "RemoveFailedPods"

apiVersion: "descheduler/v1alpha2"
kind: "DeschedulerPolicy"
profiles:
  - name: ProfileName
    pluginConfig:
    - name: "DefaultEvictor"
      args:
        evictDaemonSetPods: false
        minReplicas: 2
    - name: "PodLifeTime"
      args:
        maxPodLifeTimeSeconds: 86400
    plugins:
      deschedule:
        enabled:
          - "PodLifeTime"

迁移Kubernetes Descheduler至Koordinator Descheduler

不同版本的Kubernetes Descheduler迁移至Koordinator Descheduler的方式有所不同。迁移流程如下。

1. 卸载正在使用的Kubernetes Descheduler。集群中存在多个重调度器可能会导致出现不可预知的竞态条件。

2. 参见启用重调度功能，对Koordinator Descheduler进行安装与配置。

   1. 参见系统配置差异，在Koordinator Descheduler中配置您需要使用的系统级配置。

   2. 编写与Koordinator Descheduler适配的重调度模板。

      • 若您当前使用0.26.0版本及之前的Kubernetes Descheduler，该版本仅支持使用v1alpha1/DeschedulerPolicy配置接口。请参见模板概要配置差异完成配置。

      • 若您当前使用大于0.26.0版本的Kubernetes Descheduler，请进一步确认您所使用的配置接口。

        • 若配置接口为v1alpha1/DeschedulerPolicy，请参见模板概要配置差异，编写与Koordinator Descheduler适配的重调度模板。

        • 若接口配置为v1alpha2/DeschedulerPolicy，请参见模板概要配置差异，修改Koordinator Descheduler中的部分配置字段。

   3. 请参见策略插件配置差异和驱逐器插件配置差异，在Koordinator Descheduler中设置插件的具体配置。

相关文档

• 您可以安装ack-koordinator组件并开启重调度功能，请参见启用重调度功能。

  您也可以在ConfigMap中对系统、重调度模板、策略插件和驱逐器插件进行高级配置，请参见高级配置参数。

• 关于ack-koordinator组件的详细介绍及变更记录，请参见ack-koordinator（ack-slo-manager）。