使用LLM智能路由提升推理效率

核心组件

LLM智能路由服务主要由以下两个核心组件构成：

• LLM Gateway：流量入口与请求处理中心。接收用户请求并根据LLM Scheduler的决策转发到目标推理实例。

  • 支持HTTP（HTTP_SSE）和 WebSocket 协议。

  • 默认开启 Anthropic API 协议转换功能，能够将符合 Anthropic 规范的请求自动转换为 OpenAI 兼容格式。用户无需修改代码，即可直接使用 Claude Code 等生态工具调用遵循 OpenAI 接口标准的模型服务。详见使用Claude Code调用。

• LLM Scheduler：智能调度的大脑。根据调度策略（如基于前缀缓存）为每个请求选择最优目标实例。

工作流程

关键流程如下：

1. 接收请求：用户请求到达 LLM Gateway，后端推理实例高负载时缓存请求。

2. 智能调度：LLM Gateway向LLM Scheduler发起调度请求，LLM Scheduler基于调度策略和各实例的实时指标选择最优实例。

3. 请求转发：LLM Gateway收到调度结果后，将用户请求直接转发至目标实例。

Failover机制

系统设计了多层容错机制以保障服务稳定性：

• LLM Gateway：建议部署至少2个实例。某个实例故障时，流量自动切换至健康实例。

• LLM Scheduler：故障时LLM Gateway自动降级为轮询策略转发请求（牺牲调度性能但保证可用），恢复后自动切回智能调度。

• 推理实例：故障时 LLM Scheduler立即从可用服务列表移除该实例，不再分配新流量，恢复后自动重新加入。

步骤一：部署LLM智能路由服务

1. 登录PAI控制台，在页面上方选择目标地域。

2. 在左侧导航栏单击模型在线服务（EAS），选择目标工作空间后进入EAS。

3. 单击部署服务，选择场景化模型部署>LLM智能路由部署。

4. 配置参数：

   参数		描述
   基本信息	服务名称	自定义服务名称，例如llm_gateway。
   资源信息	部署资源	LLM Gateway的资源配置。为确保高可用，副本数默认为2，建议保持。默认 CPU 为4核，内存 为8 GB。
   	调度配置	LLM Scheduler的资源配置。默认 CPU 为2核，内存为 4 GB。
   	调度策略	选择后端推理实例的负载均衡策略，默认基于前缀缓存。详细对比和选择建议请参见调度策略详解与选择。
   高级功能	Redis配置	可选。用来持久化存储用户信息与使用统计数据。未配置时使用本地内存，服务停止时数据将丢失。详情请参见配置 Redis 持久化存储。

5. 单击部署。当服务状态变为运行中，表示部署成功。

   部署成功后，系统会自动创建一个群组服务，命名格式为group_<LLM智能路由服务名称>。您可以前往模型在线服务（EAS）页面的灰度发布页签进行查看。

步骤二：部署LLM服务

必须在部署新LLM服务时配置智能路由功能，无法通过更新已有LLM服务来添加。

以部署 Qwen3-8B 为例，步骤如下：

1. 单击部署服务，选择场景化模型部署> LLM大语言模型部署。

2. 配置以下关键参数：

   参数		值
   基本信息	模型配置	选择公共模型，搜索并选择Qwen3-8B。
   	推理引擎	选择vLLM（推荐，兼容 OpenAI API）。 说明 如果LLM智能路由服务选择基于前缀缓存的调度策略，部署LLM服务时若推理引擎选择vLLM，请确保开启引擎的前缀缓存功能。
   	部署模板	选择单机。系统将根据模板自动填充推荐的实例规格、镜像等参数。
   服务功能	LLM智能路由	打开开关，从下拉列表中选择步骤一部署的LLM智能路由服务。

3. 单击部署，服务部署耗时约5分钟。当服务状态变为运行中，表示部署成功。

步骤三：调用测试

所有请求都应发送到LLM智能路由服务的访问地址，而不是后端的具体推理服务。

1. 获取访问凭证。

   1. 单击LLM智能路由服务进入概览页面，在基本信息区域单击查看调用信息。

   2. 在调用信息页面，复制服务独立流量入口下的公网调用地址和Token。

   重要

   此处的服务 Token 即管理员API Key。如果管理员已通过 WebUI 工作台为用户分配了独立 API Key，各用户应使用自己的 API Key 替换下方示例中的 <YOUR_TOKEN>。

2. 构建请求URL并发起调用。

   • URL结构: <LLM智能路由访问地址>/<LLM服务API路径>

   • 示例: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   请求示例：

   # 将 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替换为您的实际信息
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "你好"}],
              "stream": true
            }'

   返回结果示例如下：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

服务部署成功后，您可以访问 WebUI 工作台进行可视化管理，包括实时监控、配置中心等功能。详情请参见使用LLM智能路由工作台。

步骤一：准备 Tair (Redis) 实例

1. 访问Tair售卖页购买实例。

   重要

   专有网络（VPC）和交换机需要选择和待部署的 LLM 智能路由服务相同，其他选项按需配置，建议先选择最低规格。

2. 将LLM智能路由服务的交换机网段添加到实例的白名单中，参见设置白名单。

3. 单击目标实例ID进入详情页查看实例连接信息，在部署 LLM 智能路由服务时需要使用。

   • 连接地址+端口号：在实例信息的连接信息区域获取专有网络的连接地址和端口号。

   • 用户名+密码：在账号管理页面查看默认账号。若创建实例时未设置密码，可在此修改或重置密码。若不使用默认账号，也可创建新的账号。

步骤二：部署时配置Redis

在基础配置的基础上，配置专有网络并补充 Redis 连接参数，以实现数据持久化存储。

• 配置专有网络：专有网络和交换机必须选择与步骤一中 Tair 实例相同的 VPC 和交换机，以确保 LLM 智能路由服务可以访问 Tair 实例。

• 配置Redis：

  控制台配置

  在高级功能区域，打开Redis配置功能，并填写：

  参数	说明
  Redis 地址	Tair 实例的连接地址，格式为 <专有网络地址>:<端口号>，例如 r-uxxx.redis.rds.aliyuncs.com:6379。
  Redis 用户名	Tair 实例的用户名。
  Redis 密码	Tair 实例的密码。

  JSON配置

  在 JSON body 的 llm_gateway 节点中，补充以下参数：

  参数	说明
  enable_user_management	用户管理功能，默认为 true。
  redis_addrs	Tair 实例的连接地址，格式为 <专有网络地址>:<端口号>，例如 r-uxxx.redis.rds.aliyuncs.com:6379。
  redis_username	Tair 实例的用户名。
  redis_password	Tair 实例的密码。

  JSON 示例：

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

配置示例

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

参数说明

使用Claude Code调用

1. 设置 Claude Code 使用EAS智能路由服务提供的 BASE URL 与 TOKEN。

   # 将 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替换为您的实际信息
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. 直接运行 Claude Code 工具。

   claude "写一个 Python 的 Hello World"

调度策略详解与选择

选择合适的调度策略是发挥LLM智能路由价值的关键。下表详细对比了各种策略的逻辑、适用场景及优缺点，帮助您做出最佳决策。

性能测试对比

通过对Distill-Qwen-7B、QwQ-32B和Qwen2.5-72B三个模型进行测试，发现LLM智能路由在推理服务的速度和吞吐上有显著的性能提升，具体的测试环境和测试结果如下。