AI API适用于面向人工智能应用开发的团队,提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。本文主要介绍了如何创建、更新AI API。
操作步骤
创建AI API
登录云原生API网关控制台。
在左侧导航栏,选择API,并在顶部菜单栏选择地域。
选择全部API页签,单击创建API。单击AI API卡片中的创建。
在创建AI API面板中,根据页面提示配置创建API相关参数后,单击确定。
配置项
说明
API名称
自定义创建的API名称。
重要API名称必须全局唯一。
域名
访问AI API使用的域名,支持选择多个域名。
说明同一个网关实例下,无法使用同一个域名创建两个AI API。
所属环境
AI API将发布到指定环境中,可以通过环境域名访问AI API。
说明环境域名仅供测试,请勿用于生产环境使用。
AI请求观测
开启后可查看AI请求的Metrics、Logging、Tracing信息,Logging和Tracing依赖SLS日志投递服务。
重要当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。
服务模型
支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。
单模型服务:可以选择一个AI服务,并指定模型名称或透传。
多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。
说明指定模型名称:将改写请求Body中的模型名称。
透传:将请求Body中的模型名称透传到对应的AI服务。
多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。
说明匹配规则支持通配符
?
与*
,例如qwen-*
匹配qwen-max
、qwen-long
等模型名称。
更新AI API
登录云原生API网关控制台。
在左侧导航栏,选择API,并在顶部菜单栏选择地域。
单击目标API操作列的编辑。
根据页面提示更新AI API相关参数后,单击确定。
配置项
说明
API名称
自定义创建的API名称。编辑AI API不支持修改更新。
重要API名称必须全局唯一。
域名
选择路由需要匹配的域名,支持选择多个域名。
所属环境
AI API将发布到指定环境中,可以通过环境域名访问AI API。
说明环境域名仅供测试,请勿用于生产环境使用。
AI请求观测
开启后可查看AI请求的Metrics、Logging、Tracing信息,Logging和Tracing依赖SLS日志投递服务。
重要当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。
服务模型
支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。
单模型服务:可以选择一个AI服务,并指定模型名称或透传。
多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。
说明指定模型名称:将改写请求Body中的模型名称。
透传:将请求Body中的模型名称透传到对应的AI服务。
多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。
说明匹配规则支持通配符
?
与*
,例如qwen-*
匹配qwen-max
、qwen-long
等模型名称。
使用AI API
登录云原生API网关控制台。
在左侧导航栏,选择API,并在顶部菜单栏选择地域。
单击进入目标AI API后,单击使用指南页签。
您可参照示例中的curl命令行工具方法发送HTTP请求,或者直接点击右上角调试按钮,进行测试体验AI API功能。