LLM服务开启Prefill-Decode分离部署

场景化模型部署

请参考以下操作步骤分别部署Prefill服务和Decode服务，这两个服务需要在同一个群组中进行部署。两种服务的部署流程基本相同，但在部署服务时需注意：

• 选择服务类型：在配置Prefill-Decode分离参数时，选择对应的服务类型（Prefill或Decode）。

• 设置运行命令：在高级配置中，设置相应服务的运行命令。

具体操作步骤如下：

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 在模型在线服务（EAS）页面，单击部署服务，然后在场景化模型部署区域，单击LLM大语言模型部署。

3. 在部署LLM大语言模型页面，配置以下关键参数，参数配置完成后，单击部署。

   • 基本信息：

     参数	描述
     服务名称	自定义服务名称。例如： 部署Prefill服务：qwq_32b_p 部署Decode服务：qwq_32b_d
     版本选择	选择高性能部署。
     镜像版本	选择blade-llm:0.10.0及以上版本镜像，例如blade-llm:0.10.0-rc12。
     模型配置	配置模型。以公共模型为例，选择QwQ-32B-Preview。您也可以选择其他模型或自定义模型。

   • 资源部署

     参数	描述
     资源类型	选择资源配额。
     资源配额	您需要提前购买灵骏智算资源并创建资源配额，然后选择相应的资源配额。如果没有可选的资源配额，您可以单击关联资源配额，将已创建的配额关联到该工作空间。
     部署资源	设置部署服务所需的资源，以部署QwQ-32B-Preview模型为例。对于其他模型，请根据显存需求进行调整： CPU（核数）：16 内存（GB）：125 GPU（卡数）：1

   • 服务功能

     打开Prefill-Decode分离开关，并配置以下参数：

     参数	描述
     所属群组	选择新建群组或加入群组，需确保Prefill服务和Decode服务在同一个群组中。例如qwq_32b_pd。
     服务类型	请选择相应的服务类型： 部署Prefill服务时，请选择Prefill。 部署Decode服务时，请选择Decode。
     RDMA网络	默认开启RDMA网络来保证机器之间的高效网络连接。 说明 当前仅使用灵骏智算资源部署的服务支持使用RDMA网络。
     环境变量	保持默认配置。key为ENABLE_MESSAGE_BUS：value为on。

   • 高级配置

     单击切换为自由编辑模式，并根据部署的服务类型，设置相应的运行命令：

     • 部署Prefill服务

       blade_llm_server --disable_prompt_cache --disable_cuda_graph --ragged_flash_max_batch_tokens=8000 --metric_export_interval_sec=5 --port 8001 -tp 1 --model /mnt/bladellm/model --enable_disagg --metric_exporters logger eas --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role prefill  --naming_url eas:http://127.0.0.1:9900

     • 部署Decode服务

       blade_llm_server --disable_prompt_cache --disable_cuda_graph --ragged_flash_max_batch_tokens=8000 --metric_export_interval_sec=5 --port 8001 -tp 1 --model /mnt/bladellm/model --enable_disagg --metric_exporters logger eas --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role decode --naming_url eas:http://127.0.0.1:9900

   • 专有网络

     请选择与灵骏智算资源一致的专有网络（VPC）、交换机和安全组。您可以前往资源配额（Quota）页面，单击目标资源配额名称，在网络信息区域进行查看。

JSON独立部署

请参考以下操作步骤分别部署Prefill服务和Decode服务，这两个服务需要在同一个群组中进行部署。

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 在模型在线服务（EAS）页面，单击部署服务，然后在自定义模型部署区域，单击JSON独立部署。

3. 在JSON独立部署页面，根据部署的服务类型，更新JSON配置中的相关参数，并将相应的JSON内容粘贴到JSON文本编辑框中，然后单击部署。

   关键参数配置说明如下：

   参数		描述
   cloud	networking	配置为与灵骏智算资源一致的专有网络（vpc_id）、交换机（vswitch_id）和安全组（security_group_id）。您可以前往资源配额（Quota）页面，单击目标资源配额名称，在网络信息区域进行查看。
   containers	image	部署服务使用的镜像地址。请将镜像地址中的地域信息替换为实际部署服务的地域。例如华北6（乌兰察布）为cn-wulanchabu。
   	script	服务启动命令。请根据部署的服务类型，配置相应的运行命令： 部署Prefill服务 gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l); blade_llm_server --model /model_dir --host 0.0.0.0 --port 8001 -tp $gpu_count --metric_exporters logger eas --enable_disagg --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role prefill --naming_url eas:http://127.0.0.1:9900 部署Decode服务 gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l); blade_llm_server --model /model_dir --host 0.0.0.0 --port 8001 -tp $gpu_count --metric_exporters logger eas --enable_disagg --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role decode --naming_url eas:http://127.0.0.1:9900
   metadata	group	服务群组名称。请确保Prefill服务和Decode服务在同一个群组中。
   	name	服务名称。
   	quota_id	灵骏智算资源配额ID。请前往资源配额（Quota）页面进行查看。
   	rpc.infer_mode	配置相应的服务类型： prefill：部署Prefill服务 decode：部署Decode服务
   	workspace_id	工作空间ID。请前往工作空间详情页面进行查看。
   	cpu	部署服务使用的资源，以部署QwQ-32B-Preview模型为例，配置如下，对于其他模型，请根据显存需求进行调整： cpu：16 memory（MB）：128000 gpu：1
   	gpu
   	memory
   storage	oss.path	模型所在的OSS路径。以公共模型为例，配置为oss://pai-quickstart-cn-wulanchabu/modelscope/models/QwQ-32B/，您也可以配置其他公共模型或您自己的微调训练模型。
   	oss.endpoint	OSS的Endpoint地址。

   Prefill服务和Decode服务分别对应的JSON配置如下。您需要参考上述参数说明更新JSON配置中的相关参数。

   Prefill服务JSON配置

   {
       "metadata": {
           "resource_burstable": false,
           "instance": 1,
           "rdma": 1,
           "rpc": {
               "infer_mode": "prefill"
           },
           "name": "qwq_32b_p",
           "group": "qwq_32b_pd",
           "quota_id": "quota1s47n5z****",
           "quota_type": "Lingjun",
           "workspace_id": "3**",
           "cpu": 16,
           "memory": 128000,
           "gpu": 1
       },
       "containers": [
           {
               "image": "eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/blade-llm:0.10.0rc12",
               "port": 8001,
               "env": [
                   {
                       "name": "ENABLE_MESSAGE_BUS",
                       "value": "on"
                   }
               ],
               "script": "gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l); blade_llm_server --model /model_dir --host 0.0.0.0 --port 8001 -tp $gpu_count --metric_exporters logger eas --enable_disagg --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role prefill --naming_url eas:http://127.0.0.1:9900"
           }
       ],
       "storage": [
           {
               "mount_path": "/model_dir/",
               "properties": {
                   "resource_type": "model",
                   "resource_use": "base"
               },
               "oss": {
                   "path": "oss://pai-quickstart-cn-wulanchabu/modelscope/models/QwQ-32B/",
                   "endpoint": "oss-cn-wulanchabu-internal.aliyuncs.com"
               }
           }
       ],
       "options": {
           "priority": 9
       },
       "cloud": {
           "networking": {
               "vpc_id": "vpc-0jl65jioii2v72bh9****",
               "vswitch_id": "vsw-0jlh0drtahzsooq3q****",
               "security_group_id": "sg-0jlcs30nnyf50o2x****"
           }
       }
   }

   Tab 2 正文

   Decode服务JSON配置

   {
       "metadata": {
           "resource_burstable": false,
           "instance": 1,
           "rdma": 1,
           "rpc": {
               "infer_mode": "decode"
           },
           "name": "qwq_32b_d",
           "group": "qwq_32b_pd",
           "quota_id": "quota1s47n5z****",
           "quota_type": "Lingjun",
           "workspace_id": "3***",
           "cpu": 16,
           "memory": 128000,
           "gpu": 1
       },
       "containers": [
           {
               "image": "eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/blade-llm:0.10.0rc12",
               "port": 8001,
               "env": [
                   {
                       "name": "ENABLE_MESSAGE_BUS",
                       "value": "on"
                   }
               ],
               "script": "gpu_count=$(nvidia-smi --query-gpu=count --format=csv,noheader | wc -l); blade_llm_server --model /model_dir --host 0.0.0.0 --port 8001 -tp $gpu_count --metric_exporters logger eas --enable_disagg --disable_frontend_multiprocessing --disagg_pd.disagg_transfer_type rdma --disagg_pd.select_decode_max_batched 5 --disagg_pd.token_port 10030 --disagg_pd.inst_role decode --naming_url eas:http://127.0.0.1:9900"
           }
       ],
       "storage": [
           {
               "mount_path": "/model_dir/",
               "properties": {
                   "resource_type": "model",
                   "resource_use": "base"
               },
               "oss": {
                   "path": "oss://pai-quickstart-cn-wulanchabu/modelscope/models/QwQ-32B/",
                   "endpoint": "oss-cn-wulanchabu-internal.aliyuncs.com"
               }
           }
       ],
       "options": {
           "priority": 9
       },
       "cloud": {
           "networking": {
               "vpc_id": "vpc-0jl65jioii2v72bh9****",
               "vswitch_id": "vsw-0jlh0drtahzsooq3q****",
               "security_group_id": "sg-0jlcs30nnyf50o2x****"
           }
       }
   }

Model Gallery一键部署

通过Model Gallery分别部署Prefill服务和Decode服务，以部署QwQ-32B模型为例，其中关键参数配置说明如下：