与PolarDB Agent Express应用集成

集成概述

将PolarDB Agent Express应用与AI网关集成后，您可以获得以下能力：

• 限流和预算控制：为PolarDB Agent Express应用中的用户和用户组配置Token限流和费用预算，防止资源过度消耗。

• 可观测性：通过AI网关监控PolarDB Agent Express应用的模型调用情况，包括调用量、延迟和Token消耗等指标。

• 集中化模型管理：通过AI网关统一管理模型服务的接入和路由，简化PolarDB Agent Express应用的模型配置。

集成PolarDB Agent Express应用与AI网关

1. 在AI网关完成模型服务和模型API的配置。

2. 在AI网关中创建PolarDB Agent Express应用使用的用户和用户组，获取API Key。

3. 在PolarDB Agent Express应用的配置 > 模型配置中，将模型服务地址设置为AI网关的实例地址与模型API，格式为：http://<AI网关内网地址>:<端口>/<AI网关模型API的Base Path>。例如，http://pg-xxx.polardbaigateway.rds.aliyuncs.com:8000/test_path或https://pg-xxx.polardbaigateway.rds.aliyuncs.com:8543/test_path。

   说明

   AI网关默认使用8000端口（HTTP）和8543端口（HTTPS）。请确保PolarDB Agent Express应用和AI网关部署在同一VPC中，以实现内网互通。