智能选模

步骤一：为智能路由服务配置分类服务

编辑LLM智能路由服务的JSON配置，如下增加llm_gateway.model_selection信息：

{
    "properties": {
        "llm_gateway.model_selection": {
            "classifier": {
                "api_key": "<分类服务凭证>",
                "endpoint": "http://<分类服务IP>:<端口>",
                "model_name": "<分类服务模型名，默认名model>"
            }
        }
    }
}

步骤二：开启智能选模

1. 在 InferX 左侧导航栏，单击配置中心。

2. 在配置中心页面找到智能选模卡片，单击卡片标题右侧的开关开启功能。

步骤三：配置基础参数

开启功能后，卡片自动进入编辑态。配置以下参数后单击保存。

默认档位

分类服务不可用或判定失败时的兜底档位。推荐选择 L2。

各档位候选模型

为 L3、L2、L1 三个档位分别选择候选模型。下拉列表展示网关可达的模型，也可手动输入模型名。同一档位内从左到右为优先顺序，前序模型不可用时自动顺延至下一候选。

若某档位未配置候选模型，该档位不可用。

各档位推荐模型参考如下：

配置完成后单击保存，弹出变更确认窗口，展示变更前后的 JSON 对比。单击确定提交配置。

步骤三：调用智能选模

配置完成后，在请求中将 model 设为 auto 即可交由网关智能选模。调用示例如下：

from openai import OpenAI

client = OpenAI(
    # 网关端点
    base_url="http://xxxx/api/predict/group_llmgw_with_smart_model_selector/v1",
    api_key="<凭证>",
)

resp = client.chat.completions.create(
    model="auto",  # auto = 交由网关智能选模
    messages=[{"role": "user", "content": "用一句话介绍你自己"}],
)

print("网关选定模型：", resp.model)
print("回答：", resp.choices[0].message.content)

数据概览 — 智能选模档位分布

在概览页面的智能选模档位分布卡片中，可查看选模请求的基本分布情况：

• 选模请求数：各档位（L3/L2/L1）的请求数量和 Token 数量分布。

• 选模覆盖率：所选时段内由智能选模决定模型的请求占总请求的比例。仅统计全局口径，不受用户/部门筛选影响。

实时监控 — 智能选模健康区块

仅功能开启时显示。包含健康状态横幅和六项核心指标：

健康状态横幅

六项核心指标

配置冲突

智能选模不能和分流代理里的 Weight 分流同时开启。同时开启时配置中心会提示冲突，后端拒绝保存。

若通过后台配置更新等手段强行同时开启，智能选模功能不生效，流量仍按权重分流逻辑控制。

分类服务异常

智能选模依赖分类服务。分类服务异常时，可在实时监控的“智能选模”面板看到健康状态提示，失败放行占比 > 0（数字变红），同时访问日志中该请求带有 source=fail_open 注解。

• 网关对分类器做周期性探活（约 10 秒一次），连续 3 次失败才判定为降级；恢复时 1 次成功即回稳。

• 降级期间，每次请求的分类调用超时或失败后，自动落到默认档位继续处理，不会阻塞或拒绝请求。恢复后自动恢复实时选模。