LLM智能路由：提升LLM推理系统整体效率

方式一：通过控制台部署

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 在模型在线服务（EAS）页面，单击部署服务，选择以下任意一种部署方式：

   • 自定义模型部署>自定义部署。

   • 场景化模型部署>LLM大语言模型部署。

3. 在服务功能区域，打开LLM智能路由开关，然后在下拉列表中，单击新建LLM智能路由。

4. 在新建LLM智能路由配置面板中，配置以下关键参数，然后单击部署。

   参数		描述
   基本信息	服务名称	自定义服务名称，例如llm_gateway。
   资源配置	部署资源	LLM-智能路由的资源配置。默认配置如下： 最小实例数：默认为2。建议您将最小实例数至少设置为2，以确保智能路由能够多实例运行。 CPU：默认为2核。 内存：默认为4 GB。
   	调度资源	LLM-Scheduler调度资源。默认为： CPU：2核。 内存：4 GB。
   	推理引擎	请选择您在镜像中使用的推理框架，目前支持以下框架类型： PAI-BladeLLM vLLM SGLang
   	调度策略	系统基于调度策略选择后端最佳推理实例。支持以下几种调度策略： 请求匹配：KV Cache亲和性调度，是一种综合性调度策略，基于多项指标进行决策。将相似请求转发到对应缓存KV-Cache的实例中处理，从而使请求的处理效率最大化。使用时，需将引擎的prefix-caching功能打开。 基于LLM指标：基于LLM服务的各项监控指标，智能分配服务流量，保证资源利用效率最大化。 最少请求：将请求尽可能均匀地分配到各个服务器上，以减少某些服务器过载的可能性。该策略优先选择当前请求数最少的服务器，从而平衡服务器的负载。 PD分离：在Prefill-Decode分离的LLM部署方案中，选择该策略可最大化提升调度效率。

部署成功后，系统会自动创建一个群组服务，命名格式为group_LLM智能路由服务名称。您可以前往模型在线服务（EAS）页面的灰度发布页签进行查看。

方式二：通过JSON独立部署

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 在模型在线服务（EAS）页面，单击部署服务，然后在自定义模型部署区域，单击JSON独立部署。

3. 在JSON文本编辑框中配置以下内容，然后单击部署。

   其中关键配置说明如下，其他参数配置说明，请参见JSON部署参数说明。

   • metadata.type：配置为LLMGatewayService，即可部署LLM智能路由服务。服务部署成功后，EAS会自动创建一个组合服务，包含LLM-Gateway和LLM-Scheduler，其中

     • LLM-Gateway的资源使用该服务的配置。

     • LLM-Scheduler默认的资源配置为4核CPU和4 GB内存。

   • metadata.instance：即LLM-Gateway实例数，建议至少设置为2，以防止单点故障。

   配置文件内容示例如下，您可以使用基础配置部署LLM智能路由服务，如果基础配置无法满足您的需求，您还可以进行高阶配置。

   • 基础配置：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "metadata": {
             "type": "LLMGatewayService",
             "cpu": 4,
             "group": "group_llm_gateway",
             "instance": 2,
             "memory": 4000,
             "name": "llm_gateway"
         }
     }

   • 高阶配置：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "llm_gateway": {
             "infer_backend": "vllm",
             "max_queue_size": 128,
             "retry_count": 2,
             "wait_schedule_timeout": 5000,
             "wait_schedule_try_period": 500
         },
         "llm_scheduler": {
             "cpu": 4,
             "memory": 4000,
             "policy": "prefix-cache"
         },
         "metadata": {
             "cpu": 2,
             "group": "group_llm_gateway",
             "instance": 2,
             "memory": 4000,
             "name": "llm_gateway",
             "type": "LLMGatewayService"
         }
     }

     其中关键配置说明如下：

     配置	说明
     llm_gateway.infer_backend	大语言模型使用的推理框架，支持： vllm bladellm sglang 未配置时，系统可根据LLM服务配置自动识别推理引擎。
     llm_gateway.max_queue_size	LLM Gateway缓存队列的最大长度，默认是512。 当超过后端推理框架处理能力时，多余的请求会缓存在该队列，等待调度。
     llm_gateway.retry_count	重试次数，默认是2。当后端推理实例异常时，进行请求重试并转发到新的实例。
     llm_gateway.wait_schedule_timeout	当后端引擎处于满负荷时，请求会间隔的尝试进行调度。该参数表示尝试调度地时间，默认为10秒。
     llm_gateway.wait_schedule_try_period	表示每次尝试调度的间隔时间，默认为1秒。
     llm_scheduler.cpu	指定LLM-Scheduler的CPU，默认为4核。
     llm_scheduler.memory	指定LLM-Scheduler的Memory，默认为4 GiB。
     llm_scheduler.instance_type	指定LLM-Scheduler的实例规格，与llm_scheduler.cpu/llm_scheduler.memory二选一配置，因该规格已经定义了CPU核数和内存大小，无需单独配置CPU和Memory。
     llm_scheduler.policy	调度策略，取值如下： prefix-cache（默认值）：KV Cache亲和性调度，是一种综合性调度策略，基于多项指标进行决策（包括llm-metric-based和least-request指标信息）。将相似请求转发到对应缓存KV-Cache的实例中处理，从而使请求的处理效率最大化。使用时，需将引擎的prefix-caching功能打开。 llm-metric-based：基于LLM服务的各项监控指标，智能分配服务流量，保证资源利用效率最大化。 least-request：将请求尽可能均匀地分配到各个服务器上，以减少某些服务器过载的可能性。该策略优先选择当前请求数最少的服务器，从而平衡服务器的负载。 pd-split：在Prefill-Decode分离的LLM部署方案中，选择该策略可最大化提升调度效率。