多机分布式推理

使用说明

EAS或ModelGallery官方提供的部分SGLang和vLLM镜像已原生支持分布式推理。如果您想通过自定义镜像来部署分布式推理，需遵循分布式推理框架的组网规范及分布式处理的基本范式，详情请参见实现原理。

实现原理

以下内容为您介绍分布式推理涉及的基本概念和实现原理：

实例单元

与EAS普通推理服务相比，分布式推理服务引入了实例单元（下文简称Unit）的概念。Unit内部通过高性能网络通信，通过TP/PP等模式相互协调完成一次请求处理。一个Unit内的实例是有状态的，而不同Unit之间是完全对称且无状态的。

实例编号

每个Unit中的实例都会通过环境变量的形式注入实例编号（Unit内每个实例的环境变量及说明，请参见附录）。不同实例会依次分配不同的编号，通过实例编号控制不同实例执行不同的任务。

承接流量

整个Unit对外默认只通过0号实例（RANK_ID 为0）承接流量，通过系统的服务发现机制把用户流量分配到不同Unit的0号实例，然后在Unit内部进行分布式处理。不同Unit独立承接用户流量，相互没有干扰。

滚动更新

在滚动更新时，Unit会作为一个整体进行重建，新Unit中的所有实例会并行创建。等待新的Unit中所有实例就绪之后，会先对要删除的Unit进行摘流，再删除Unit中的所有实例。

生命周期

Unit重建

当Unit整体重建时，老的Unit中的所有实例会并行删除，新的Unit中的所有实例也会并行创建，不会根据实例编号进行特殊处理。

实例重建

Unit内的每个实例的生命周期默认和0号实例的生命周期一致，当0号实例发生重建时，会触发Unit内的所有其它实例进行重建。当非0号实例发生重建时，Unit内其他实例不会受影响。

分布式容错

• 实例异常处理机制

  • 当检测到分布式服务中某个实例发生异常时，系统会自动触发Unit中所有实例的重启操作。

  • 作用：有效解决单点故障导致的集群状态不一致问题，确保所有实例运行环境完全重置。

• 协同恢复机制

  • 实例重启完成后，系统会等待Unit中所有实例达到一致就绪状态（通过同步屏障barrier实现），待全部实例就绪后，再统一启动业务进程。

  • 作用：

    • 避免NCCL通信组网时因实例状态不一致导致的建立分组异常。

    • 确保分布式推理任务的所有参与节点保持严格的启动同步性。

分布式容错的功能默认是关闭的。如果需要开启，您可以通过配置unit.guard来启用该功能，具体配置示例如下：

{
  "unit": {
    "size": 2,
    "guard": true
  }
}

附录

在部署分布式推理服务时，通常需要进行组网操作（例如使用Torch分布式或Ray等框架）。当配置了VPC或RDMA时，每个实例会有多个网卡，因此需要指定用于组网通信用的网卡。

• 在配置RDMA时，默认使用RDMA的网卡（即net0）。

• 在未配置RDMA时，使用用户所配置的VPC对应的网卡（即eth1）。

相关配置通过环境变量传递，您可在启动命令中使用。示例如下：