AI推理套件

功能项

说明

相关文档

支持单机LLM推理

使用StatefulSet部署LLM推理服务，支持单机单卡和单机多卡部署。

部署单机LLM推理服务

支持多机分布式LLM推理

使用LeaderWorkerSet部署多机多卡的分布式推理服务。

• 部署多机分布式推理服务

• 基于ACK多机分布式部署DeepSeek满血版推理部署实战

支持多种推理引擎的PD分离部署

各种推理引擎实现PD分离的架构各不相同，部署方案各异，因此AI推理套件使用RoleBasedGroup作为工作负载，统一部署各种推理引擎的PD分离架构。

• 部署SGLang PD分离推理服务

• 部署Dynamo PD分离推理服务

弹性扩缩容

成本与性能的平衡是LLM服务的关键。AI推理套件提供了业界领先的多维度、多层次弹性伸缩能力。

• 通用弹性支持：深度集成并优化了HPA、KEDA、Knative (KPA) 等标准扩缩容机制，满足不同场景的需求。

• 面向PD分离的智能伸缩：独家支持针对RBG中特定角色（Role）的独立扩缩容。例如，可以根据推理引擎指标如请求排队情况动态扩展“Prefill”角色，同时保持负责请求调度的“Scheduler”角色稳定，实现最精细化的资源配置。

• 为单机/多机推理配置弹性扩缩容

• 为PD分离推理服务配置弹性伸缩策略

可观测性

黑盒化的推理过程是性能优化的巨大障碍。AI推理套件提供了开箱即用的深度可观测性方案。

• 核心引擎监控：针对vLLM、SGLang等主流推理引擎，预置了丰富的Metrics Dashboard监控大盘，全面覆盖Token吞吐率、请求延迟、GPU利用率、KV Cache命中率等关键指标。

• 问题快速定位：通过直观的监控视图，开发者可以快速定位性能瓶颈，做出科学的优化决策。

为LLM推理服务配置监控

推理网关

ACK Gateway with Inference Extension组件是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，支持Kubernetes四层/七层路由服务，并提供面向生成式AI推理场景的一系列增强能力。它能够简化生成式AI推理服务的管理流程，并优化在多个推理服务工作负载之间的负载均衡性能。

为LLM推理服务配置推理网关智能路由

模型加速

在AI推理场景中，LLM模型加载慢导致应用冷启动耗时高、弹性伸缩受阻等问题。Fluid通过构建分布式缓存将远端模型文件缓存到节点本地，实现极速启动、零冗余、极致弹性。

Fluid数据缓存优化策略最佳实践

性能剖析

为了进行更深层次的性能分析，可使用AI Profiling工具，它允许开发者在不中断服务、不修改代码的前提下，通过GPU容器进程数据的采集，对在线运行的训练推理服务进行性能观测剖析。

• 无侵入设计：一键启动，对线上服务无感知，安全可靠。

• 洞察代码瓶颈：帮助定位到具体的CUDA Kernel或Python函数级别的性能热点，为极致优化提供数据支撑。

AI Profiling