AI Gateway功能简介-云数据库 ClickHouse-阿里云帮助中心

背景信息

随着企业大规模使用大模型，业务应用直接调用模型服务通常会面临以下问题：

成本失控：缺乏统一的预算管理和限流机制，难以跟踪各业务团队的Token消耗，容易导致费用超支。
治理缺失：多个团队各自管理模型API Key，调用逻辑分散，运维成本高。
安全合规风险：API Key分散存储，提示词注入、敏感数据外泄等风险缺乏统一防护，请求审计难以满足企业安全合规要求。
可观测性不足：无法实时掌握Agent场景的模型调用成功率、延迟和 Token 消耗等，出现问题时排查困难。

AI Gateway在企业应用与模型服务之间建立统一代理层，系统性解决上述问题：业务应用统一通过AI Gateway访问后端模型服务，由AI Gateway集中完成认证、限流、预算控制、安全防护与可观测数据投递。

核心优势

成本可控：支持按用户组、用户两个维度设置每分钟请求数（RPM）与每分钟Token数（TPM）限流；支持全局、用户组、单个用户三级预算，按月自动重置并可设置告警阈值；配合按输入/输出/缓存Token分别定价的成本规则，实现精细化成本核算。
安全合规：支持IP白名单分组管理；内置智能防护与数据脱敏能力，可对提示词注入进行检测拦截、对请求与响应中的敏感数据进行脱敏。
全面可观测：调用轨迹自动投递到Langfuse，可实时查看调用量、延迟、Token消耗与成本，并按用户下钻。
协议兼容：支持openai、anthropic的协议接入与转换，业务应用无需修改代码即可通过网关访问后端模型服务。

应用场景

企业AI平台统一管理：为企业内多个团队提供统一模型接入入口，通过用户组实现分级管理与调用审计。
Agent/多智能体应用：为Agent应用提供统一模型调用地址，借助路由规则、按权重分流与故障转移保障模型访问的稳定性。
财务治理：通过成本规则与预算体系，精确追踪各团队模型使用成本，防止费用超支。
安全治理：通过白名单、智能防护策略与数据脱敏策略，确保模型访问安全并满足数据合规要求。
模型调用可观测与质量评估：与Langfuse联动，沉淀全量调用Trace，可结合LLM-as-Judge评估输出质量。

控制台功能总览

在ClickHouse控制台进入AI Gateway实例详情页后，左侧导航即完整的功能地图：

控制台入口	能力说明
实例详情	查看实例版本、地域、可用区、VPC/VSwitch、绑定的Langfuse实例（可直接跳转）；在接入点信息中查看私网/公网连接地址与端口（HTTP 8000、HTTPS 8543），并可申请公网地址。
白名单配置	按分组管理允许访问网关的IP/CIDR。
观测分析	查看绑定的Langfuse实例及连接地址，进入Langfuse查看调用Trace、指标与评估结果。
模型管理 > 模型服务	接入后端模型提供方：服务名称、模型服务商（百炼/百炼-新加坡/百炼-美国/自定义）、协议、服务地址（base_url）、API-KEY。
模型管理 > 模型 API	对外暴露的统一调用入口：Base Path（实例内唯一）、类别（文本/向量化/重排序）、协议、负载均衡算法（加权随机/轮询）、单服务或多服务、Fallback故障转移。
用户管理 > 用户组管理	划分调用方，通常对应团队或业务线；是限流、预算与投递的配置维度。
用户管理 > 用户管理	组内的实际调用身份，API Key自动生成、加密存储、支持重置。
策略管理 > 限流策略	按用户组/用户设置每分钟请求数与每分钟Token数限制。
策略管理 > 预算策略	先设置成本规则（输入/输出/缓存Token每百万Token成本点），再按全局/用户组/单个用户设置预算点数、每月刷新日与告警阈值；列表实时展示已使用与使用率。
策略管理 > 智能防护策略	支持提示词防护，默认自带全局策略，实现对Prompt攻击的同步拦截。
数据脱敏	对请求/响应中的敏感信息正则脱敏：内置手机号、邮箱、信用卡、银行卡号、身份证号、IP地址等字段。

与Langfuse联动

AI Gateway与Langfuse按实例一对一绑定，绑定后观测链路自动打通，无需业务侧埋点。当前支持同一网关下多个用户组分别投递到不同的Project：每个用户组配置各自的投递目标（组织+项目），组内所有用户的调用汇入该组映射的Project，从而实现按团队隔离观测。

自动投递：网关将经过OTEL规范的调用轨迹自动投递到绑定的Langfuse实例，按用户维度记录、按用户组维度聚合。
入口：实例详情基本信息中的Langfuse实例链接、左侧导航观测分析，均可进入Langfuse控制台。
可观测内容：Traces（每次调用的请求/响应、耗时、Token消耗）、指标看板（调用量、延迟、Token与成本趋势，可按用户下钻）。
边路投递：投递目标异常时支持自动熔断，不影响模型调用主链路。

前提条件：

AI Gateway实例状态为运行中，且已完成模型服务、模型API、用户组与用户的配置。具体操作，请参见AI Gateway快速接入。
已在Langfuse实例中创建目标组织（Org）与项目（Project）。

以「为算法团队单独隔离观测」为例，端到端流程如下：

在Langfuse中创建组织与项目。
在用户管理 > 用户组管理创建用户组（如algo-team），在组内创建用户并获取API Key，并将该用户组的投递目标配置为上述组织与项目。
通过观测分析进入Langfuse目标项目，核对投递目标（实例、组织、项目）与预期一致。
业务应用携带该组用户的API Key调用模型API。
在Langfuse目标项目中查看Trace与评估分数；在网关侧通过预算策略的已使用/使用率核对成本。

注意事项：

观测、限流、预算均以用户组为维度配置，建议统一划分口径。
用户组可变更投递目标（切换Project）；历史Trace保留在原Project中，不会迁移。

使用限制

限制项	说明
Langfuse绑定	一个Langfuse实例仅允许绑定一个AI Gateway实例；对已绑定网关的Langfuse实例重复创建网关将被拒绝。版本限制：仅支持4.1.0_9及之后的Langfuse创建AI Gateway实例。
用户组数量	单个网关实例下用户组数量上限为50。
模型API路径	模型API的Base Path在网关实例内需全局唯一。
成本规则	同一网关实例+模型组合下仅允许存在一条成本规则。
限流策略	每分钟请求数限制与每分钟Token数限制至少设置一项；两项同时设置时，任一达到阈值即触发限流。
预算策略	配置预算前需先完成成本规则配置。

名词解释

名词	说明
AI Gateway实例	模型代理服务的载体，实例ID以cgw-开头，与一个Langfuse实例绑定。
模型服务	后端模型提供方的接入配置，包含服务商、协议、服务地址（base_url）与API Key。
模型API	对外暴露的统一调用入口，由Base Path与路由配置组成，可关联一个或多个模型服务。
用户组	用户的分组单位，是限流、预算与Langfuse投递聚合的配置维度。
用户	实际的调用身份，创建后由网关自动生成API Key。
投递	网关将模型调用轨迹发送到Langfuse的过程，按用户记录、按用户组聚合。

常见问题

用户API Key丢失了怎么办？

API Key采用加密存储。如丢失，可在控制台用户管理 > 用户管理中重置，为该用户重新生成API Key。

AI Gateway是否支持多模型负载均衡与故障切换？

支持。创建模型API时可选择多个模型服务并设置权重，负载均衡算法支持轮询（round-robin）与加权随机（weighted-random）；开启Fallback开关后可配置备用模型服务，主服务异常时自动切换。

AI Gateway与Langfuse是什么关系？

两者按实例一对一绑定：AI Gateway负责模型调用的统一接入与治理，Langfuse负责调用轨迹的可观测与评估。详细信息，请参见本文「与Langfuse联动」章节。