kube-apiserver组件监控指标及大盘使用说明

名称

PromQL

说明

API QPS

sum(irate(apiserver_request_total[$interval]))

API Server的总QPS。

读请求成功率

sum(irate(apiserver_request_total{code=~"20.*",verb=~"GET|LIST"}[$interval]))/sum(irate(apiserver_request_total{verb=~"GET|LIST"}[$interval]))

API Server处理读请求的成功率。

写请求成功率

sum(irate(apiserver_request_total{code=~"20.*",verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))/sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH|CONNECT"}[$interval]))

API Server处理写请求的成功率。

在处理读请求数量

sum(apiserver_current_inflight_requests{requestKind="readOnly"})

API Server当前在处理的读请求数量。

在处理写请求数量

sum(apiserver_current_inflight_requests{requestKind="mutating"})

API Server当前在处理的写请求数量。

请求限流速率

sum(irate(apiserver_dropped_requests_total[$interval]))

Dropped Request Rate。

API Server限流策略过程中，主动丢弃掉的请求数所占总请求数的比例。

名称

PromQL

说明

GET读请求时延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="GET",resource!="",subresource!~"log|proxy"}[$interval])) by (pod, verb, resource, subresource, scope, le))

展示GET请求的响应时间，维度包括API Server Pod、Verb（GET）、Resources、Scope。

LIST读请求时延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb="LIST"}[$interval])) by (pod_name, verb, resource, scope, le))

展示LIST请求的响应时间，维度包括API Server Pod、Verb（LIST）、Resources、Scope。

写请求时延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb!~"GET|WATCH|LIST|CONNECT"}[$interval])) by (cluster, pod_name, verb, resource, scope, le))

展示Mutating请求的响应时间，维度包括API Server Pod、Verb（GET、WATCH、LIST、CONNECT）、Resources、Scope。

在处理读请求数量

apiserver_current_inflight_requests{request_kind="readOnly"}

API Server正在处理的读请求数量。

在处理写请求数量

apiserver_current_inflight_requests{request_kind="mutating"}

API Server正在处理的写请求数量。

请求限流速率

sum(irate(apiserver_dropped_requests_total{request_kind="readOnly"}[$interval])) by (name)

sum(irate(apiserver_dropped_requests_total{request_kind="mutating"}[$interval])) by (name)

API Server的限流速率 ，No data或者0表示没有限流。

名称

PromQL

说明

内存使用量

memory_utilization_byte{container="kube-apiserver"}

API Server的内存使用量。单位：字节。

CPU使用量

cpu_utilization_core{container="kube-apiserver"}*1000

API Server的CPU使用量。单位：毫核。

资源对象数量

• max by(resource)(apiserver_storage_objects)

• max by(resource)(etcd_object_counts)

• 当ACK为1.22及以上版本时， 指标名字为apiserver_storage_objects

• 当ACK为1.22及以下版本时，指标名字为etcd_object_counts。

名称

PromQL

说明

按Verb维度分析QPS

sum(irate(apiserver_request_total{verb=~"$verb"}[$interval]))by(verb)

按Verb维度，统计单位时间（1s）内的请求QPS。

按Verb+Resource维度分析QPS

sum(irate(apiserver_request_total{verb=~"$verb",resource=~"$resource"}[$interval]))by(verb,resource)

按Verb+Resource维度，统计单位时间（1s）内的请求QPS。

按Verb维度分析请求时延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT",resource!=""}[$interval])) by (le,verb))

按Verb维度，分析请求时延。

按Verb+Resource维度分析请求时延

histogram_quantile($quantile, sum(irate(apiserver_request_duration_seconds_bucket{verb=~"$verb", verb!~"WATCH|CONNECT", resource=~"$resource",resource!=""}[$interval])) by (le,verb,resource))

按Verb+Resource维度，分析请求时延。

非2xx返回值的读请求QPS

sum(irate(apiserver_request_total{verb=~"GET|LIST",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

统计非2xx返回值（除成功以外的所有情况，例如4xx、5xx等）的读请求QPS。

非2xx返回值的写请求QPS

sum(irate(apiserver_request_total{verb!~"GET|LIST|WATCH",verb=~"$verb",resource=~"$resource",code!~"2.*"}[$interval])) by (verb,resource,code)

统计非2xx返回值（除成功以外的所有情况，例如4xx、5xx等）的写请求QPS。

Apiserver对etcd请求时延

histogram_quantile($quantile, sum(irate(etcd_request_duration_seconds_bucket[$interval])) by (le,operation,type,instance))

统计API Server对etcd的请求时延。

名称

PromQL

说明

APF 请求并发限制（维度：PL）

sum by(priority_level) (apiserver_flowcontrol_request_concurrency_limit)

按 PL 或 Instance + PL 维度统计 APF 请求并发限制，即某个优先级队列理论上允许同时处理的最大请求数。

apiserver_flowcontrol_request_concurrency_limit 在Kubernetes 1.30版本变为Deprecated，自1.31版本起移除，1.31及以上版本的集群中建议使用apiserver_flowcontrol_nominal_limit_seats指标代替。

APF 请求并发限制（维度：Instance + PL）

sum by(instance,priority_level) (apiserver_flowcontrol_request_concurrency_limit)

APF 当前执行请求数量（维度：FS + PL）

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_executing_requests)

按 FS + PL 或 Instance + FS + PL 维度统计 APF 当前正在执行的请求数量。

APF 当前执行请求数量（维度：Instance + FS + PL）

sum by(instance,flow_schema,priority_level)(apiserver_flowcontrol_current_executing_requests)

APF当前在队列中待处理请求数量（维度：FS + PL）

sum by(flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

按 FS + PL 或 Instance + FS + PL 维度统计当前队列中待处理的请求数量。

APF 当前队列中待处理请求数量（维度：Instance + FS + PL）

sum by(instance,flow_schema,priority_level) (apiserver_flowcontrol_current_inqueue_requests)

APF 名义并发限制席位数量

sum by(instance,priority_level) (apiserver_flowcontrol_nominal_limit_seats)

按 Instance + PL 维度统计APF席位数量的相关指标。包括以下指标：

• 名义并发限制：不同优先级队列的名义最大并发席位限制。

• 当前并发限制：不同优先级队列中，在动态调整后实际允许的最大并发席位数量。

• 在执行：不同优先级队列中当前正在执行的请求数对应的席位数量。

• 队列中：不同优先级队列中排队中的请求数对应的席位数量。

APF 当前并发限制席位数量

sum by(instance,priority_level) (apiserver_flowcontrol_current_limit_seats)

APF 当前在执行的席位数量

sum by(instance,priority_level) (apiserver_flowcontrol_current_executing_seats)

APF 当前队列中席位数量

sum by(instance,priority_level) (apiserver_flowcontrol_current_inqueue_seats)

APF 请求执行时间

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_execution_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

请求从开始执行到最终完成所花费的时间。

APF 请求等待时间

histogram_quantile($quantile, sum(irate(apiserver_flowcontrol_request_wait_seconds_bucket[$interval])) by (le,instance, flow_schema,priority_level))

请求从进入队列到开始执行之间的等待时间。

APF 成功调度并处理的请求QPS

sum(irate(apiserver_flowcontrol_dispatched_requests_total[$interval]))by(instance,flow_schema,priority_level)

成功调度并处理的请求QPS。

APF 拒绝请求QPS

sum(irate(apiserver_flowcontrol_rejected_requests_total[$interval]))by(instance,flow_schema,priority_level)

因超出并发限制或队列容量而被拒绝的请求QPS。

名称

PromQL

说明

准入控制器时延[admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用到的admit类型的Admission Controller名称、操作、是否拒绝以及相应的执行时间。

指标Bucket的阈值为{0.005、0.025、0.1、0.5、2.5}。单位：秒。

准入控制器时延[validate]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_controller_admission_duration_seconds_bucket{type="validate"}[$interval])) )

使用到的validate类型的Admission Controller名称、操作、是否拒绝以及相应的执行时间。

指标Bucket的阈值为{0.005、0.025、0.1、0.5、2.5}。单位：秒。

准入Webhook时延[admit]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="admit"}[$interval])) )

使用到的admit类型的Webhook名称、操作、是否拒绝以及相应的执行时间。

指标Bucket的阈值为{0.005、0.025、0.1、0.5、2.5}，单位：秒。

准入Webhook时延[validating]

histogram_quantile($quantile, sum by(operation, name, le, type, rejected) (irate(apiserver_admission_webhook_admission_duration_seconds_bucket{type="validating"}[$interval])) )

使用到的admit类型的Webhook名称、操作、是否拒绝以及相应的执行时间。

指标Bucket的阈值为{0.005、0.025、0.1、0.5、2.5}。单位：秒。

准入Webhook请求QPS

sum(irate(apiserver_admission_webhook_admission_duration_seconds_count[$interval]))by(name,operation,type,rejected)

准入Webhook的请求QPS。

名称

PromQL

说明

按Client维度分析QPS

sum(irate(apiserver_request_total{client!=""}[$interval])) by (client)

按Client维度分析QPS。用于分析访问API Server的客户端以及QPS。

按Verb+Resource+Client维度分析QPS

sum(irate(apiserver_request_total{client!="",verb=~"$verb", resource=~"$resource"}[$interval]))by(verb,resource,client)

按Verb+Resource+Client维度分析QPS。

按Verb+Resource+Client维度分析LIST请求QPS（无resourceVersion字段）

sum(irate(apiserver_request_no_resourceversion_list_total[$interval]))by(resource,client)

• 按Verb+Resource+Client维度分析LIST请求的QPS（无resourceVersion字段）。

• 可以分析对API Server的全部LIST请求中、到etcd的部分LIST请求，帮助识别以及优化API Server客户端的LIST行为。

正常情况

异常情况

说明

读请求成功率和写请求成功率接近100%。

读请求成功率和写请求成功率维持在较低百分比，例如小于90%。

存在较多非200返回值请求。

正常情况

异常情况

说明

GET读请求时延、LIST读请求时延、写请求时延与访问的集群资源数量和集群规模相关联，没有固定的正常与异常的时间分界，只要不影响业务即在接受范围内。例如，如果访问的某种资源量越大，那么LIST请求时间就会越长。一般情况下，GET读请求时延、写请求时延小于1s，LIST读请求时延小于5s，为正常现象。

• GET读请求时延、写请求时延大于1s。

• LIST读请求时延大于5s。

请求的响应时延过长时，需要排除集群资源数量多、Webhook调用慢等因素的影响。

正常情况

异常情况

说明

通常情况下，在处理读请求数量和在处理写请求数量小于100，请求限流速率为0，为正常现象。

• 在处理读请求数量、在处理写请求数量大于100。

• 请求限流速率大于0。

当前在处理请求的队列积压时，需要排除短时请求量涌入导致处理延时、Webhook调用慢等因素的影响。超过队列长度时，API Server会限流，导致请求限流速率大于0，影响集群稳定性。

正常情况

异常情况

说明

准入Webhook时延小于0.5s。

持续出现准入Webhook时延大于0.5s。

Webhook响应慢会影响API Server的响应时延。