模型代理快速入门

更新时间:
复制 MD 格式

本文介绍如何创建模型代理并完成初始配置,包括添加模型服务、创建模型API、配置用户和白名单,帮助您快速开始使用模型代理。

步骤一:创建模型代理

  1. 登录PolarDB控制台,在左侧导航栏,选择PolarDB AI > AI网关

  2. 单击创建网关实例,进入购买页。

  3. 在购买页中,根据实际业务需求选择所属地域、生态实例规格等配置。

说明

模型代理需要部署在与业务服务(如PolarDB Agent Express)相同的VPC中,以确保内网连通性。

步骤二:添加模型服务

  1. 返回PolarDB控制台,在左侧导航栏,选择PolarDB AI > AI网关

  2. AI网关页面,选择并单击您刚创建的实例ID/名称

  3. 在实例详情页的左侧导航栏中,选择模型管理 > 模型服务并单击添加模型服务

  4. 配置以下参数:

    • 服务名称:自定义您的模型服务商名称。

    • 模型服务商:选择您的模型服务商。例如,百炼百炼-新加坡百炼-美国等。

    • 类别:选择模型服务的类型。目前仅支持文本

    • 协议:选择模型服务提供的协议。目前支持:openai-chatopenai-responsesAnthropic

    • 服务地址 (base_url):模型提供方的API地址。例如,阿里云大模型服务平台百炼的API地址。

    • API-KEY:模型服务的访问密钥。

步骤三:创建模型API

  1. 在实例详情页的左侧导航栏中,选择模型管理 > 模型API并单击创建模型API

  2. 配置以下参数:

    • API名称:自定义您的模型API。

    • Base Path:API路由前缀,在模型代理内需全局唯一。

    • 类别:选择API类型。目前仅支持文本

    • 协议:选择API支持的协议。目前支持:openai-chatopenai-responsesAnthropic

    • 负载均衡算法:选择API的负载均衡策略。

    • 服务类型:支持单服务多服务(按权重) 模式。

    • 服务列表:选择已配置的模型服务。其中服务名称必填,代表通过API对外暴露的模型名称。

    • Fallback:是否开启备用服务。

步骤四:创建用户和用户组

创建用户组

  1. 在实例详情页的左侧导航栏中,选择用户组管理 > 用户组并单击新建用户组

  2. 输入用户组名称与配置相关设置。您可以根据企业组织架构划分用户组。

创建用户

  1. 在实例详情页的左侧导航栏中,选择用户组管理 > 用户并单击新建用户

  2. 输入用户组名称与配置相关设置。您可以根据企业组织架构划分用户组。

  3. 选择用户组并输入唯一的用户名称与配置相关设置。系统将自动为该用户生成API Key。

说明

API Key采用加密存储。请在首次显示时妥善保存API Key。如果API Key丢失,您可以在目标用户的API Key列单击复制按钮查看。

步骤五:配置IP白名单

为允许VPC内的服务访问模型代理,需要将VPC的网段添加到模型代理的访问白名单中。

  1. 在实例详情页的左侧导航栏中,选择白名单

  2. 配置白名单策略:

    • 新增IP白名单分组:添加需要访问模型代理VPC或交换机的CIDR网段。

    • 选择安全组:添加需要访问模型代理的安全组。

(可选)步骤六:开通公网访问能力

模型代理默认仅支持VPC内访问。如果您的业务场景需要模型代理访问公网模型服务(如阿里云大模型服务平台百炼的公网API),需要配置公网NAT网关。

配置步骤

  1. 创建公网 NAT 网关:请前往NAT 网关 - 公网 NAT 网关购买页进行创建。在创建过程中,请确保选择与PolarDB PostgreSQL相同的VPC和交换区。

  2. 配置 SNAT 条目:前往公网 NAT 网关页面。单击目标网关操作列的设置SNAT,单击创建SNAT条目。参数请按如下配置:

    • SNAT条目粒度VPC粒度

    • 选择弹性公网IP地址:在下拉列表中选择提供公网访问的EIP。

说明

开通公网访问能力将产生相关的公网NAT网关及公网流量费用。相关费用说明,请参见NAT 网关计费

后续操作

完成初始配置后,您可以: