大模型产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云
AI 助理
备案控制台
首页 容器计算服务 操作指南 网络 Gateway API管理 生成式AI服务增强

生成式AI服务增强

更新时间: 2025-04-29 13:44:06
  • Gateway with Inference Extension概述
  • 推理服务框架支持说明
  • 快速体验Gateway with Inference Extension
  • 使用Gateway with Inference Extension实现智能路由与流量管理
  • 构建生成式AI推理服务的灰度发布策略
  • 通过配置智能路由规则实现推理服务的流量镜像
  • 通过推理服务智能路由实现请求熔断机制
  • 使用智能推理路由实现前缀感知负载均衡
  • 构建基于模型名称的推理服务路由
  • 使用智能推理路由实现推理请求排队与优先级调度
  • 观测生成式AI请求
  • 基于生成式AI请求的Token数进行全局限流
上一篇: 通过ALB使用Gateway API暴露服务 下一篇: Gateway with Inference Extension概述

为什么选择阿里云

什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告

产品和定价

全部产品免费试用产品动态产品定价配置报价器云上成本管理

解决方案

技术解决方案

文档与社区

文档开发者社区天池大赛培训与认证

权益中心

免费试用解决方案免费试用高校计划5亿算力补贴推荐返现计划

支持与服务

基础服务企业增值服务迁云服务官网公告健康看板信任中心

关注阿里云

关注阿里云公众号或下载阿里云APP,关注云资讯,随时随地运维管控云服务

阿里云APP阿里云微信

联系我们:4008013260

法律声明Cookies政策廉正举报安全举报联系我们加入我们

友情链接

阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么

© 2009-2025 Aliyun.com 版权所有 增值电信业务经营许可证: 浙B2-20080101 域名注册服务机构许可: 浙D3-20210002

浙公网安备 33010602009975号浙公网安备 33010602009975号浙B2-20080101-4