本文介绍如何创建模型代理并完成初始配置,包括添加模型服务、创建模型API、配置用户和白名单,帮助您快速开始使用模型代理。
步骤一:创建模型代理
-
登录PolarDB控制台,在左侧导航栏,选择。
-
单击创建网关实例,进入购买页。
-
在购买页中,根据实际业务需求选择所属地域、生态与实例规格等配置。
模型代理需要部署在与业务服务(如PolarDB Agent Express)相同的VPC中,以确保内网连通性。
步骤二:添加模型服务
-
返回PolarDB控制台,在左侧导航栏,选择。
-
在AI网关页面,选择并单击您刚创建的实例ID/名称。
-
在实例详情页的左侧导航栏中,选择并单击添加模型服务。
-
配置以下参数:
-
服务名称:自定义您的模型服务商名称。
-
模型服务商:选择您的模型服务商。例如,百炼、百炼-新加坡或百炼-美国等。
-
类别:选择模型服务的类型。目前仅支持文本。
-
协议:选择模型服务提供的协议。目前支持:openai-chat、openai-responses或Anthropic。
-
服务地址 (base_url):模型提供方的API地址。例如,阿里云大模型服务平台百炼的API地址。
-
API-KEY:模型服务的访问密钥。
-
步骤三:创建模型API
-
在实例详情页的左侧导航栏中,选择并单击创建模型API。
-
配置以下参数:
-
API名称:自定义您的模型API。
-
Base Path:API路由前缀,在模型代理内需全局唯一。
-
类别:选择API类型。目前仅支持文本。
-
协议:选择API支持的协议。目前支持:openai-chat、openai-responses或Anthropic。
-
负载均衡算法:选择API的负载均衡策略。
-
服务类型:支持单服务与多服务(按权重) 模式。
-
服务列表:选择已配置的模型服务。其中服务名称必填,代表通过API对外暴露的模型名称。
-
Fallback:是否开启备用服务。
-
步骤四:创建用户和用户组
创建用户组
-
在实例详情页的左侧导航栏中,选择并单击新建用户组。
-
输入用户组名称与配置相关设置。您可以根据企业组织架构划分用户组。
创建用户
-
在实例详情页的左侧导航栏中,选择并单击新建用户。
-
输入用户组名称与配置相关设置。您可以根据企业组织架构划分用户组。
-
选择用户组并输入唯一的用户名称与配置相关设置。系统将自动为该用户生成API Key。
API Key采用加密存储。请在首次显示时妥善保存API Key。如果API Key丢失,您可以在目标用户的API Key列单击复制按钮查看。
步骤五:配置IP白名单
为允许VPC内的服务访问模型代理,需要将VPC的网段添加到模型代理的访问白名单中。
-
在实例详情页的左侧导航栏中,选择白名单。
-
配置白名单策略:
-
新增IP白名单分组:添加需要访问模型代理的VPC或交换机的CIDR网段。
-
选择安全组:添加需要访问模型代理的安全组。
-
(可选)步骤六:开通公网访问能力
模型代理默认仅支持VPC内访问。如果您的业务场景需要模型代理访问公网模型服务(如阿里云大模型服务平台百炼的公网API),需要配置公网NAT网关。
配置步骤
-
创建公网 NAT 网关:请前往NAT 网关 - 公网 NAT 网关购买页进行创建。在创建过程中,请确保选择与PolarDB PostgreSQL版相同的VPC和交换区。
-
配置 SNAT 条目:前往公网 NAT 网关页面。单击目标网关操作列的设置SNAT,单击创建SNAT条目。参数请按如下配置:
-
SNAT条目粒度:VPC粒度。
-
选择弹性公网IP地址:在下拉列表中选择提供公网访问的EIP。
-
开通公网访问能力将产生相关的公网NAT网关及公网流量费用。相关费用说明,请参见NAT 网关计费。
后续操作
完成初始配置后,您可以:
-
配置限流策略和预算管理以控制成本。
-
将模型代理与PolarDB Agent Express应用集成,构建统一的多智能体平台。