LLM智能路由：提升LLM推理系统整体效率

方式一：通过控制台部署

1. 进入模型在线服务页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务。

3. 在部署服务页面，选择以下任意一种部署方式：

   • 选择自定义模型部署>自定义部署。

   • 选择场景化模型部署>LLM大语言模型部署，并在基本信息区域，选择支持推理加速的模型类别：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。

4. 在服务功能配置区域，单击LLM智能路由，并打开LLM智能路由开关，然后在下拉列表中，单击新建LLM智能路由。

5. 在新建LLM智能路由配置面板中，配置以下关键参数，然后单击部署。

   参数		描述
   基本信息	服务名称	按照控制台操作指引，自定义配置LLM智能路由服务名称。例如llm_router。
   资源配置	部署资源	LLM-智能路由的资源配置。默认配置如下： 最小实例数：默认为2，建议您将最小实例数设置为2，以确保智能路由能够多实例运行。 CPU：默认为2核。 内存：默认为4 GB。
   	调度资源	LLM-Scheduler调度资源。默认为： CPU：2核。 内存：4 GB。
   	推理加速	请选择您在镜像中使用的推理框架，目前，LLM网关支持以下两种框架类型： PAI-BladeLLM自动推理加速 开源框架vllm推理加速

LLM智能路由服务部署成功后，会同步创建一个群组服务。您可以前往模型在线服务（EAS）页面的服务群组页签进行查看。服务群组名称命名格式为group_LLM智能路由服务名称。

方式二：通过JSON独立部署

1. 进入模型在线服务页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务。

3. 在自定义模型部署区域，单击JSON独立部署。

4. 在JSON文本编辑框中配置以下内容，然后单击部署。

   配置文件内容示例如下：

   说明

   • 为了防止单点故障，建议您将metadata.instance至少设置为2，以确保智能路由能够多实例运行。

   • 如果先部署LLM智能路由服务，该服务将保持等待状态直至大语言模型（LLM）服务部署成功。

   • 基础配置：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "metadata": {
             "type": "LLMGatewayService",
             "cpu": 4,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router"
         }
     }

     您只需将metadata.type配置为LLMGatewayService，即可部署LLM智能路由服务。其他参数配置说明，请参见服务模型所有相关参数说明。服务部署成功后，EAS会自动创建一个组合服务，包含LLM-智能路由和LLM-Scheduler，其中LLM-智能路由的资源配置使用的就是该服务的配置；LLM-Scheduler默认的资源配置为4核CPU和4 GiB内存。

   • 高阶配置：如果基础配置无法满足您的需求，您还可以参考以下高阶配置，准备JSON文件：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "llm_gateway": {
             "infer_backend": "vllm",
             "max_queue_size": 128,
             "retry_count": 2,
             "wait_schedule_timeout": 5000,
             "wait_schedule_try_period": 500
         },
         "llm_scheduler": {
             "cpu": 4,
             "memory": 4000
         },
         "metadata": {
             "cpu": 2,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router",
             "type": "LLMGatewayService"
         }
     }

     其中关键配置说明如下，其他参数配置说明，请参见服务模型所有相关参数说明。

     配置	说明
     llm_gateway.infer_backend	大语言模型使用的推理框架，支持： vllm（默认值） bladellm
     llm_gateway.max_queue_size	LLM智能路由缓存队列的最大长度，默认是128。 当超过后端推理框架处理能力时，待有可用推理实例时进行调度转发。
     llm_gateway.retry_count	重试次数，默认是2。当后端推理实例异常时，进行请求重试并转发到新的实例。
     llm_gateway.wait_schedule_timeout	超时时间，默认为5000毫秒。当LLM-Scheduler不可用时间达到超时时间后，LLM-智能路由使用简单的Round-Robin策略进行请求分发。
     llm_gateway.wait_schedule_try_period	当LLM-Scheduler不可用时，系统在wait_schedule_timeout超时时间内的重试频率，默认为500毫秒。
     llm_scheduler.cpu	指定LLM-Scheduler的CPU，默认为4核。
     llm_scheduler.memory	指定LLM-Scheduler的Memory，默认为4 GiB。
     llm_scheduler.instance_type	指定LLM-Scheduler的实例规格。该规格已经定义了CPU核数和内存大小，无需单独配置CPU和Memory。

方式一：通过控制台部署

1. 进入模型在线服务页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务。

3. 在部署服务页面，选择以下任意一种部署方式，并配置关键参数，其他参数配置说明，请参见服务部署：控制台。

   • 选择自定义部署，并配置以下关键参数。

     参数		描述
     模型服务信息	部署方式	选择镜像部署AI-Web应用。
     	镜像选择	支持使用PAI平台镜像或自定义镜像： 选择PAI平台镜像，镜像选择chat-llm-webui，镜像版本选择3.0-vllm或3.0-blade。 选择镜像地址，并在文本框中输入自定义镜像地址。您的自定义镜像后端推理框架需要是BladeLLM或vllm。
     服务功能配置	LLM智能路由	打开LLM智能路由开关，并选择已创建的LLM智能路由。

   • 选择LLM大语言模型部署，并配置以下关键参数。

     参数		描述
     基本信息	模型类别	从如下模型中任意选择一个支持推理加速的模型类别：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。
     服务功能配置	LLM智能路由	打开LLM智能路由开关，并选择已创建的LLM智能路由。

4. 参数配置完成后，单击部署。

方式二：通过JSON独立部署

本方案以PAI提供的预置镜像-开源vLLM-0.3.3版本为例，具体操作步骤如下：

1. 在模型在线服务（EAS）页面，单击部署服务。

2. 在自定义模型部署区域，单击JSON独立部署。

3. 在JSON文本编辑框中配置以下内容，然后单击部署。

   配置文件内容示例如下：

   {
       "cloud": {
           "computing": {
               "instance_type": "ecs.gn7i-c16g1.4xlarge"
           }
       },
       "containers": [
           {
               "image": "eas-registry-vpc.<regionid>.cr.aliyuncs.com/pai-eas/chat-llm:vllm-0.3.3",
               "port": 8000,
               "script": "python3 -m vllm.entrypoints.openai.api_server --served-model-name llama2 --model /huggingface/models--meta-llama--Llama-2-7b-chat-hf/snapshots/c1d3cabadba7ec7f1a9ef2ba5467ad31b3b84ff0/"
           }
       ],
       "features": {
           "eas.aliyun.com/extra-ephemeral-storage": "50Gi"
       },
       "metadata": {
           "cpu": 16,
           "gpu": 1,
           "instance": 5,
           "memory": 60000,
           "group": "llm_group",
           "name": "vllm_service"
       }
   }

   其中关键配置说明如下，其他参数配置说明，请参见服务模型所有相关参数说明。

   • metadata.group：服务群组名称。LLM服务必须与LLM智能路由在同一个群组下，这样LLM服务才能向LLM-Scheduler进行注册，并上报相关的Metric（指标），同时LLM智能路由才能进行流量转发。

     • 当使用控制台方式创建LLM智能路由时，您需要在模型在线服务（EAS）页面的服务群组页签，查看LLM智能路由所在的服务群组名称。命名格式为group_LLM智能路由名称。

     • 当使用JSON独立部署时，配置为llm_group。

   • containers.image：本方案使用PAI提供的预置镜像，您需要将<regionid>替换为实际服务所在地域的ID，例如华北2（北京）配置为cn-beijing。