大模型
产品
解决方案
文档与社区
权益中心
定价
云市场
合作伙伴
支持与服务
了解阿里云
HOT
查看 “
” 全部搜索结果
AI 助理
备案
控制台
首页
容器计算服务
操作指南
网络
Gateway API管理
生成式AI服务增强
生成式AI服务增强
更新时间: 2025-04-29 13:44:06
Gateway with Inference Extension概述
推理服务框架支持说明
快速体验Gateway with Inference Extension
使用Gateway with Inference Extension实现智能路由与流量管理
构建生成式AI推理服务的灰度发布策略
通过配置智能路由规则实现推理服务的流量镜像
通过推理服务智能路由实现请求熔断机制
使用智能推理路由实现前缀感知负载均衡
构建基于模型名称的推理服务路由
使用智能推理路由实现推理请求排队与优先级调度
观测生成式AI请求
基于生成式AI请求的Token数进行全局限流
上一篇: 通过ALB使用Gateway API暴露服务
下一篇: Gateway with Inference Extension概述
