负载感知路由组件

参数

类型

是否必填

默认值

描述

Config

LoadAwareRoutingConfig

是

-

负载感知路由配置。

参数

类型

是否必填

默认值

描述

MetricCollector

MetricCollectorConfig

是

-

指标采集配置。

Scheduler

SchedulerConfig

是

-

路由决策配置。

参数

类型

是否必填

默认值

描述

Timeout

Integer

是

-

指标采集响应的超时时间，单位为秒，取值范围1~300。

Interval

Integer

是

-

指标采集的间隔时间，单位为秒，取值范围1~50。

HttpMetricCollect

HttpMetricCollectorConfig

是

-

HTTP指标采集配置。

参数

类型

是否必填

默认值

描述

Host

String

否

-

指标采集请求的Host头部值，需为合法域名。不填写时默认使用后端服务器地址。

Path

String

是

-

指标采集的请求路径，需以/开头且不含空格，例如/metrics。

Method

String

否

GET

指标采集请求的HTTP方法，取值为GET或POST。

参数

类型

是否必填

默认值

描述

Scorers

ScorerConfig[]

是

-

路由决策评分配置列表，至少配置1条。系统根据各指标的评分对后端进行排序，将请求优先调度至负载更低的后端。

参数

类型

是否必填

默认值

描述

Name

ScorerNameEnum

是

-

参与评分的指标名称。

Weight

Integer

是

-

该指标线性归一后的加权比例，取值范围0~100。权重越高，该指标对调度决策的影响越大。

值

描述

TotalQueuedRequests

请求队列长度，即当前正在排队等待处理的请求数量。

KVCacheUtilization

GPU Cache利用率，即当前用于缓存推理中间结果的KV Cache利用率百分比。

RunningRequests

运行请求数，即当前正在处理中的请求数量。