AI网关

功能简介

AI网关作为您的应用与AI服务提供商之间的代理层，提供以下核心能力：

• 统一接入：通过单一endpoint接入多家AI服务提供商，兼容OpenAI API标准，无需修改现有代码即可切换不同模型。

• 性能优化：利用智能缓存机制，对重复请求直接返回缓存结果，降低响应延迟并减少上游API调用成本。

• 安全防护：内置速率限制、IP白名单、API密钥认证等多层安全机制，保护您的AI服务免受滥用和攻击。

• 高可用性：支持自动故障切换和请求重试，当主供应商服务异常时自动切换到备用供应商，保障业务连续性。

• 可观测性：实时监控请求次数、Token使用量、响应时间和成本统计，提供详细的请求日志和审计追踪。

功能原理

AI网关部署在ESA的全球边缘节点上，请求处理流程如下：

1. 请求接收：客户端应用通过统一的endpoint发送API请求到最近的边缘节点；

2. 安全验证：边缘节点对请求进行认证（API令牌、IP白名单等）；

3. 路由转发：根据配置的路由规则，将请求转发到指定的AI服务提供商（如阿里云百炼、OpenAI等）；

4. 结果缓存：将上游响应结果缓存到边缘节点，并返回给客户端。

5. 监控记录：记录采样日志以及请求数、Token数、错误数量等指标数据。

路由机制：通过model参数指定目标AI模型，格式为{provider}/{model-name}，例如：

• openai/gpt-4o：调用OpenAI的GPT-4o模型

• deepseek/deepseek-chat：调用DeepSeek的chat模型

• qwen/qwen-plus：调用阿里云百炼的通义千问Plus模型

适用场景

import OpenAI from "openai";

const client = new OpenAI({
  defaultHeaders: {
    "esa_aigw_auth": `Bearer ESA_API_TOKEN`,
  },
  baseURL: "https://YOUR_DOMAIN/v1",
});

const response = await client.chat.completions.create({
  model: "qwen/qwen-plus",  //填入使用的模型
  messages: [{ role: "user", content: "What is Edge Security Acceleration?" }],
});

import OpenAI from "openai";

const client = new OpenAI({
  defaultHeaders: {
    "esa_aigw_auth": `Bearer ESA_API_TOKEN`,
    "x-ai-route-metadata": "YOUR_IFELSE_CONDITION_RULE",  // 配置了ifelse条件时必传
  },
  baseURL: "https://api.example.com/v1",
});

const response = await client.chat.completions.create({
  model: "dynamic/ai-test",  // 路由配置
  messages: [
    { role: "user", content: "Hello!" }
  ],
});

console.log(response.choices[0].message.content);

注意事项

• API密钥管理：AI网关需要配置上游AI服务提供商的API密钥，请妥善保管密钥并定期轮换。密钥将加密存储在ESA中。

• 模型兼容性：统一接口遵循OpenAI API标准，部分AI服务提供商的特有功能可能不支持。

• 监控数据延迟：监控指标数据可能存在1-5分钟的延迟，实时性要求高的场景建议结合日志分析使用。

操作步骤

路由配置

您可以配置不同路由规则，AI网关将根据请求特征，自动匹配模型。还可以增加故障切换规则，当AI主供应商某个模型服务异常时自动切换到备用供应商或该主供应商的其他模型。

1. 在AI网关应用中，选择路由配置页签，单击新增路由，并在新增路由页面填写自定义名称。

2. 完成创建路由配置后，在路由列表单击对应路由配置操作列的编辑按钮。

3. 在编辑页面，可进行可视化的模型路由配置：

   1. 配置路由条件：单击可视化模型的开始和模型服务流程之间的添加符号，单击添加条件即可自动生成If...Else判断流程。单击If...Else流程的点击配置按钮，在右侧弹出框中单击添加条件。

      • metadata.：填写需要进行判断的键，如test-key

      • 逻辑符号：选择逻辑符号，等于==，不等于！=

      • 键值：填写metadata.对应的取值，如ok

      说明

      流程默认判断条件为true时使用主供应商，为false时使用备用供应商，可以手动编辑模型配置进行调整。

   2. 配置模型服务：分别配置true和false分支的添加符号，单击添加模型服务（也可以继续单击添加条件）后，单击模型服务流程块的点击配置，添加模型信息：

      • AI 服务商：下拉选择AI服务商，如Qwen

      • 模型名称：下拉选择对应的模型，如qwen3-max

      • API Key：选择已添加的API Key，如qwen-api-key

      可单击添加 fallback 模型添加故障切换的备用模型配置。

4. 配置完成后，单击保存并部署。后续将根据请求中的headerx-ai-route-metadata来匹配路由条件进行模型服务选择。

AI网关数据分析与日志

ESA会统计所有经过AI网关的请求的关键数据，帮助您分析AI应用的运行情况。

1. 在AI网关应用中，选择可观测看板页签。

2. 单击过滤器，选择数据统计范围即可展示：

   • 请求数：在所选时间段内通过此 AI 网关发出的请求数

   • Token数：在所选时间段内此 AI 网关使用的预计 Token 数

   • 错误数量：在所选时间段内从此 AI 网关发出的错误请求数

   • 采样日志：详细的请求和响应信息，包括边缘状态码、时间、模型、请求、响应等信息。

支持的AI服务商

AI网关支持以下主流AI服务提供商，其他服务商将逐步开放：

计费说明

AI网关默认为免费模式，无需任何额外计费，适用于广大开发者或者个人业务。后续将推出适用于企业用户的线上业务接入付费模式。