管理AI API

AI API适用于面向人工智能应用开发的团队,提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。本文主要介绍了如何创建、更新AI API。

操作步骤

创建AI API

  1. 登录云原生API网关控制台

  2. 在左侧导航栏,选择API,并在顶部菜单栏选择地域。

  3. 选择全部API页签,单击创建API。单击AI API卡片中的创建

  4. 创建AI API面板中,根据页面提示配置创建API相关参数后,单击确定

    image

    配置项

    说明

    API名称

    自定义创建的API名称。

    重要

    API名称必须全局唯一。

    域名

    访问AI API使用的域名,支持选择多个域名。

    说明

    同一个网关实例下,无法使用同一个域名创建两个AI API。

    所属环境

    AI API将发布到指定环境中,可以通过环境域名访问AI API。

    说明

    环境域名仅供测试,请勿用于生产环境使用。

    AI请求观测

    开启后可查看AI请求的Metrics、Logging、Tracing信息,Logging和Tracing依赖SLS日志投递服务。

    重要

    当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。

    服务模型

    支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。

    • 单模型服务:可以选择一个AI服务,并指定模型名称或透传。

    • 多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。

      说明
      • 指定模型名称:将改写请求Body中的模型名称。

      • 透传:将请求Body中的模型名称透传到对应的AI服务。

    • 多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。

      说明

      匹配规则支持通配符?*,例如qwen-*匹配qwen-maxqwen-long等模型名称。

更新AI API

  1. 登录云原生API网关控制台

  2. 在左侧导航栏,选择API,并在顶部菜单栏选择地域。

  3. 单击目标API操作列的编辑

    image

  4. 根据页面提示更新AI API相关参数后,单击确定

    image

    配置项

    说明

    API名称

    自定义创建的API名称。编辑AI API不支持修改更新。

    重要

    API名称必须全局唯一。

    域名

    选择路由需要匹配的域名,支持选择多个域名。

    所属环境

    AI API将发布到指定环境中,可以通过环境域名访问AI API。

    说明

    环境域名仅供测试,请勿用于生产环境使用。

    AI请求观测

    开启后可查看AI请求的Metrics、Logging、Tracing信息,Logging和Tracing依赖SLS日志投递服务。

    重要

    当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。

    服务模型

    支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。

    • 单模型服务:可以选择一个AI服务,并指定模型名称或透传。

    • 多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。

      说明
      • 指定模型名称:将改写请求Body中的模型名称。

      • 透传:将请求Body中的模型名称透传到对应的AI服务。

    • 多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。

      说明

      匹配规则支持通配符?*,例如qwen-*匹配qwen-maxqwen-long等模型名称。

使用AI API

  1. 登录云原生API网关控制台

  2. 在左侧导航栏,选择API,并在顶部菜单栏选择地域。

  3. 单击进入目标AI API后,单击使用指南页签。

    image

  4. 您可参照示例中的curl命令行工具方法发送HTTP请求,或者直接点击右上角调试按钮,进行测试体验AI API功能。