AI Gateway快速接入

步骤一：创建AI Gateway实例

1. 登录云数据库ClickHouse控制台，进入Agentic Data Stack页面，选择已经创建好的Langfuse实例，单击立即开通。

2. 创建完成后，在AI Gateway集群列表中找到目标AI Gateway实例，单击实例ID进入详情页。

步骤二：添加模型服务

1. 在左侧导航选择模型管理 > 模型服务。

2. 单击添加模型服务，在弹窗中配置以下信息：

   配置项	说明
   服务名称	支持英文、数字、下划线、短横线，不超过64个字符。
   模型服务商	百炼、百炼（新加坡）、百炼（美国）、自定义。
   协议	openai、anthropic。
   服务地址（base_url）	模型提供方的API地址。
   API-KEY	模型服务的访问密钥。

3. 保存后可在列表中查看、编辑或删除模型服务。

步骤三：创建模型API

1. 在左侧导航选择模型管理 > 模型API。

2. 单击创建模型API，在弹窗中配置以下信息：

   基本信息

   配置项	说明
   API名称	支持英文、数字、下划线、短横线，不超过64个字符。
   Base Path	路由前缀，实例内全局唯一，调用地址由它拼接。
   类别	文本、向量化、重排序。
   协议	openai、anthropic。
   负载均衡算法	weighted-random（加权随机）、round-robin（轮询）。

   大模型服务

   配置项	说明
   服务类型	单服务或多服务。
   服务列表	选择已添加的模型服务；可开启「使用指定模型名称」并填写对外暴露的模型名称，也可指定强制使用的模型。
   Fallback	开关开启后可配置备用模型服务，主服务异常时自动切换。

3. 创建成功后，列表展示API ID、类别/协议、Base Path等信息，可修改或删除。

步骤四：创建用户组与用户

用户组用于按团队或业务线划分调用方，用户是实际调用身份。

1. 在左侧导航选择用户管理 > 用户组管理，单击新建用户组，输入名称与别名。

2. 选择用户管理 > 用户管理，单击新建用户，选择所属用户组并输入用户名。

3. 创建成功后系统自动生成API Key，在用户列表的API Key列查看并妥善保存。

步骤五：配置IP白名单

1. 在左侧导航选择白名单配置。

2. 单击新建白名单分组，输入分组名称与允许访问的IP或CIDR网段（多个用逗号分隔），如192.168.1.0/24。

3. 已有分组可在操作列修改或删除。

步骤六：获取接入地址并验证调用

1. 在左侧导航选择实例详情，在接入点信息区域查看连接地址：HTTP端口8000、HTTPS端口8543，区分私网与公网两种网络类型，单击地址右侧图标可复制。

2. 以「接入地址+端口+Base Path」作为模型服务地址发起调用。以OpenAI兼容协议为例：

   curl -X POST "http://<接入地址>:8000/<BasePath>/chat/completions" \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer <用户APIKey>" \
     -d '{
       "model": "<模型API暴露的模型名>",
       "messages": [{"role": "user", "content": "你好"}]
     }'

   使用OpenAI SDK时，将base_url设置为http://<接入地址>:8000/<BasePath>/v1，api_key设置为用户API Key。

步骤七（可选）：开通AI Gateway实例公网访问能力

AI Gateway默认仅支持VPC内访问到模型服务。如果您的业务场景需要AI Gateway访问到公网模型服务（如阿里云大模型服务平台百炼的公网API），需要配置公网NAT网关。

1. 创建公网NAT网关：请前往NAT网关-公网NAT网关购买页进行创建。在创建过程中，请确保选择与AI Gateway实例相同的VPC和交换机。

2. 配置SNAT条目：前往公网NAT网关页面，单击目标网关操作列的设置SNAT，单击创建SNAT条目。参数请按如下配置：

   • SNAT条目粒度：VPC粒度或与实例实际相同的vSwitch粒度。

   • 选择弹性公网IP地址：在下拉列表中选择提供公网访问的EIP。