与PolarDB Agent Express应用集成

集成概述

将PolarDB Agent Express应用与模型代理集成后，您可以获得以下能力：

• 限流和预算控制：为PolarDB Agent Express应用中的用户和用户组配置Token限流和费用预算，防止资源过度消耗。

• 可观测性：通过模型代理监控PolarDB Agent Express应用的模型调用情况，包括调用量、延迟和Token消耗等指标。

• 集中化模型管理：通过模型代理统一管理模型服务的接入和路由，简化PolarDB Agent Express应用的模型配置。

集成PolarDB Agent Express应用与模型代理

1. 在模型代理完成模型服务和模型API的配置。

2. 在模型代理中创建PolarDB Agent Express应用使用的用户和用户组，获取API Key。

3. 在PolarDB Agent Express应用的配置 > 模型配置中，将模型服务地址设置为模型代理的实例地址与模型API，格式为：http://<模型代理内网地址>:<端口>/<模型代理模型API的Base Path>。例如，http://pg-xxx.polardbaigateway.rds.aliyuncs.com:8000/test_path或https://pg-xxx.polardbaigateway.rds.aliyuncs.com:8543/test_path。

   说明

   模型代理 默认使用8000端口（HTTP）和8543端口（HTTPS）。请确保PolarDB Agent Express应用和模型代理部署在同一VPC中，以实现内网互通。