Runtime kit介绍

2.1 算力与显存细粒度切分

Runtime Kit 支持 GPU 等 xPU 资源的细粒度算力与显存切分，让多业务共享同一张 GPU 卡，提升资源利用率。

• 时分复用（TDM）：按时间片轮转共享 GPU 算力，算力百分比精确到 1%~100%。多个容器可按各自算力配额在同一张卡上运行，互不干扰。

• 物理空分（MIG）：基于 NVIDIA MIG 硬件级空分技术，将一张物理 GPU 切分为多个独立实例。每个实例有独立的计算单元、显存和中断引擎，实现硬件级隔离。Runtime Kit 增强了原生 MIG，支持实例动态创建和自动管理，算力与显存可独立配置，并为不同硬件提供统一接口。

• 显存与算力独立维度：显存和算力可独立设置、自由组合，无需等比例分配。例如可为一个容器分配 50% 算力但仅 2 GiB 显存，为另一个容器分配 30% 算力但 8 GiB 显存，更贴合业务实际需求。

• 按需实时创建：资源实例随业务容器创建而动态生成，容器销毁后自动回收，无需提前静态准备，随容器生命周期管理。

• 能力边界：算力按 1~100 整数设置（对应单卡算力百分比，留空或填 0 表示不限制）；显存支持 GiB 和 MiB，MiB 模式最小粒度为 128 MiB。TDM 与 MIG 不能在同一张卡上同时启用，同一节点上不同卡可分别使用不同模式。PPU 场景建议优先使用 TDM。

2.2 资源隔离与故障管理

每个切分实例有独立的显存地址空间和算力配额，提供三层隔离：

• 显存隔离：严格限制容器显存上限，容器内程序只能使用分配的显存，避免业务间显存争抢。

• 算力隔离：精确控制容器可用的 GPU 算力，避免多容器共享一卡时相互干扰。

• 故障隔离：切分实例的 GPU 错误（如显存异常、Kernel 报错）不会扩散到同卡其他容器，降低多业务共享 GPU 的故障影响面。

2.3 健康监测

Runtime Kit 提供全面的 GPU 健康监测与性能监控：

• 多维指标采集：覆盖整卡、容器/Pod、进程三级粒度，提供运行状态、利用率、性能、健康度等多维指标。适配 Prometheus 等主流监控平台，一个组件即可采集所有异构实例指标。

• 微感健康检测：在业务几乎无感的情况下实时检测 GPU 实例故障，覆盖掉卡、uncorrectable ECC 错误、显存泄漏、驱动异常、NVLink 故障、计算模式异常等常见故障。在大规模同步训练场景，可快速定位故障卡，结合灵骏裸金属备机替换机制快速替换故障卡并恢复训练，降低 GPU 任务调度失败率。

2.4 拓扑感知调度

多卡、多节点场景下，设备通信距离直接影响任务效率。Runtime Kit 提供拓扑感知能力：组件自动采集并上报设备与网络拓扑，您无需额外配置，按标准方式声明资源后，调度器自动选择通信距离最优的设备组合。

• 节点内多卡拓扑调度：面向多卡请求，调度器优先选择互联最近的卡组合。申请 2/4/8 卡时自动生效，优先选择同一拓扑组内互联最近的卡；支持 GPU 与 RDMA 网卡联合亲和，按 PCIe Switch → NUMA Node → CPU Socket → 跨 Socket 逐级就近，将同一 PCIe 域内的 GPU 与 RDMA 网卡成组分配。

• 跨节点 Gang 拓扑调度：面向多机分布式训练，调度器将同一 JobSet 下的 Pod 识别为同一调度组，按网络拓扑亲和度分配节点，将成员聚集到网络距离最近的节点，采用全有或全无的成组调度，避免部分成员先就绪导致的资源长期占用与等待。

资源声明与使用方法见拓扑感知调度（PPU）。

4.1 在线推理业务

推理业务受 RT 和在线水位变化限制，GPU 利用率通常较低。Runtime Kit 支持在一张 GPU 卡上部署多个推理实例，提升吞吐量。实际案例中，单卡切分为两个实例后吞吐量接近翻倍，资源用量不变。

4.2 离线训练任务

离线训练场景下，Runtime Kit 从两个维度提升训练集群效率与可靠性。一是提升单卡利用率：部分训练任务（如小规模微调、数据预处理）对单卡算力占用有限，Runtime Kit 支持在一张 GPU 卡上同时部署多份训练任务，通过细粒度切分利用空闲资源。二是大规模集群故障快速恢复：微感健康检测可在业务几乎无感的情况下实时监测每张 GPU 状态，快速定位故障卡，结合灵骏裸金属备机替换机制恢复训练任务，最大限度减少集群停机时间。

4.3 开发与测试任务

算法开发、调试与实验任务通常算力需求小、空闲时间长，但每位开发者都需要独立、无干扰的 GPU 环境。Runtime Kit 支持将一张 GPU 卡切分为多个实例，供多位开发者同时使用：每个实例有独立的算力与显存配额，并具备故障隔离，开发环境互不影响。无需增加卡数即可支撑更多开发者，降低开发测试环境成本。

5.1 两层交付架构

Runtime Kit 分两层，两层通过统一 gRPC 接口对接：

在该架构中，资源侧能力由阿里云灵骏提供并持续迭代，容器层组件开源，用户可按自身平台规范适配，两层通过统一 gRPC 接口对接。接口是两层唯一的对接边界，也是向后兼容的基础。

5.2 开源组件概览

5.3 两种使用路径

• 路径一：直接使用预编译组件。通过部署脚本一键部署，部署后即可使用，无需二次开发。该路径下您仅需关注套件版本，部署与版本管理方法见部署与版本指南，资源申请与使用方法见使用指南。无定制需求建议优先选择此路径：预编译组件由阿里云灵骏官方发布维护，并提供技术支持；使用过程中遇到问题，可通过开源仓库 Issue 等渠道反馈。

• 路径二：基于开源代码二次开发。您可按自身平台规范修改调度策略、监控模板等，自由适配容器层能力；约束是最终须通过统一 gRPC 接口调用底层能力，以保证接口兼容性。源码获取与定制方法见开源组件定制，接口协议见gRPC接口参考。

问题归属与支持渠道见部署与版本指南。