kube-scheduler组件监控指标及大盘使用说明

指标清单

类型

说明

scheduler_scheduler_cache_size

Gauge

调度器缓存中节点、Pod和AssumedPod（假定要调度的Pod）的数量。

scheduler_pending_pods

Gauge

Pending Pod的数量。队列种类如下：

• unschedulable：不可调度的Pod数量。

• backoff：backoffQ的Pod数量，即因为某种原因暂时不能被调度的Pod数量。

• active：activeQ的Pod数量，即准备就绪并等待被调度的Pod数量。

scheduler_pod_scheduling_attempts_bucket

Histogram

调度器尝试成功调度Pod的次数，Bucket阈值为{1、2、4、8、16}。

memory_utilization_byte

Gauge

内存使用量。单位：字节（Byte）。

cpu_utilization_core

Gauge

CPU使用量。单位：核（Core）。

rest_client_requests_total

Counter

从状态值（Status Code）、方法（Method）和主机（Host）维度分析HTTP请求数。

rest_client_request_duration_seconds_bucket

Histogram

从方法（Verb）和URL维度分析HTTP请求时延。

指标清单

PromQL

说明

Scheduler Pending Pods

scheduler_pending_pods{job="ack-scheduler"}

Pending Pod的数量。队列种类如下：

• unschedulable：不可调度的Pod数量。

• backoff：backoffQ的Pod数量，即因为某种原因暂时不能被调度的Pod数量。

• active：activeQ的Pod数量，即准备就绪并等待被调度的Pod数量。

Scheduler 尝试成功调度Pod次数

histogram_quantile($quantile, sum(rate(scheduler_pod_scheduling_attempts_bucket{job="ack-scheduler"}[$interval])) by (pod, le))

调度器尝试调度Pod的次数。Bucket阈值为{1、2、4、8、16}。

Scheduler 缓存数据统计

• scheduler_scheduler_cache_size{job="ack-scheduler",type="nodes"}

• scheduler_scheduler_cache_size{job="ack-scheduler",type="pods"}

• scheduler_scheduler_cache_size{job="ack-scheduler",type="assumed_pods"}

调度器缓存中Node、Pod和AssumedPod的数量。

指标清单

PromQL

说明

内存使用量

memory_utilization_byte{container="kube-scheduler"}

内存使用量。单位：字节。

CPU使用量

cpu_utilization_core{container="kube-scheduler"}*1000

CPU使用量。单位：毫核。

指标清单

PromQL

说明

Kube API 请求QPS

• sum(rate(rest_client_requests_total{job="ack-scheduler",code=~"2.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-scheduler",code=~"3.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-scheduler",code=~"4.."}[$interval])) by (method,code)

• sum(rate(rest_client_requests_total{job="ack-scheduler",code=~"5.."}[$interval])) by (method,code)

kube-scheduler对kube-apiserver组件发起的HTTP请求，从方法（Method）和返回值（Code) 维度分析。

Kube API 请求时延

histogram_quantile($quantile, sum(rate(rest_client_request_duration_seconds_bucket{job="ack-scheduler"}[$interval])) by (verb,url,le))

kube-scheduler对kube-apiserver组件发起的HTTP请求时延，从方法（Verb）和请求URL维度分析。

正常情况

异常情况

异常说明

建议

存活调度器Pod数量大于等于1。

存活调度器数量为0。

当前集群无可用调度器。

• 查看调度器相关的Deployment或者StatefulSet是否存在。

• 定位调度器Pod下线是否为预期内的人为操作。

正常情况

异常情况

异常说明

建议

Pod调度速度较稳定，且维持在较低数值。

• Unschedulable队列中的Pod数量持续增加。

• Unschedulable队列中的Pod数量在其他Pod完成调度后仍然没有减少。

当前集群中Pod的资源请求不合理，或节点资源配置不足。

• 查看节点资源是否满足Pod需求。

• 查看Pod是否设置了无法满足的节点亲和属性。

正常情况

异常情况

异常说明

建议

Pod能够在几次尝试后正常被调度到节点上。

Pod在多次尝试后依然无法成功调度。

当前集群中Pod的资源请求不合理，或节点资源配置不足。

• 查看节点资源是否满足Pod的需求。

• 查看Pod是否设置了无法满足的节点亲和属性。