什么是模型代理

背景信息

随着企业对大模型的使用日益广泛，直接调用模型服务面临以下挑战：

• 成本失控：缺乏统一的预算管理和限流机制，难以跟踪和控制各业务团队的Token消耗量，容易导致费用超支。

• 治理缺失：企业内部多个团队分别管理各自的模型API Key和调用逻辑，导致管理分散、运维成本高。

• 安全合规风险：API Key分散存储、缺乏请求审计，难以满足企业安全合规要求。

• 可观测性不足：无法实时掌握模型调用的成功率、延迟和Token消耗等关键指标，出现问题时排查困难。

模型代理通过在企业应用和模型服务之间建立统一的代理层，系统性地解决以上问题。

核心优势

• 成本可控：支持多维度的限流策略和预算管理，可按用户组和用户设置Token消耗上限，有效防止成本超支。

• 安全合规：API Key加密存储，所有请求经过统一鉴权和审计，满足企业安全合规要求。

• 全面可观测：实时监控模型调用的成功率、延迟、Token消耗等指标，支持调用日志查询，便于问题定位和优化。

应用场景

• PolarDB Agent Express多智能体平台：模型代理与PolarDB Agent Express应用集成，为多智能体应用提供统一的模型接入、限流和预算管理能力。

• 企业AI平台管理：统一管理企业内部多个团队的模型调用，通过用户组实现分级管理和资源隔离。

• 财务治理：通过预算管理和费用规则，精确追踪各团队的模型使用成本，实现精细化成本管控。

• 安全管理：通过IP白名单、统一鉴权和调用审计，确保模型访问的安全性。

功能特性

费用说明

组件费用：模型代理收取资源组件费用，费用根据您选择的组件规格（CPU和内存）和购买时长计算。

常见问题

• 模型代理是否支持公网访问？

  模型代理默认仅支持VPC内访问。如果您的业务场景需要模型代理访问公网模型服务（如阿里云大模型服务平台百炼的公网API），需要配置公网NAT网关。

• API Key丢失了怎么办？

  您前往用户组管理 > 用户 页面，在目标用户的API Key列单击复制按钮查看。

• 如何控制AI模型服务的使用成本？

  模型代理提供两种成本控制机制：

  • 预算管理：在全局、用户组和用户级别设置费用上限，控制总体成本。

  • 限流策略：在用户组或用户级别配置每分钟Token限额，控制消耗速率。

• 模型代理是否支持多模型负载均衡？

  支持，当前版本的模型代理已支持单服务与多服务（按权重） 模式，您可以在创建模型API自定义配置。