LLM API适用于面向人工智能应用开发的团队,提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。本文主要介绍了如何创建、更新LLM API。
创建LLM API
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,然后单击创建LLM API。
在创建LLM API面板中,根据页面提示配置创建API相关参数后,单击确定。
配置项
说明
API名称
自定义创建的API名称。
重要API名称必须全局唯一。
域名
访问LLM API使用的域名,支持选择多个域名。
说明域名与基本路径(BasePath)的组合全局唯一,不可重复。
Base Path
API的基本路径。
AI请求观测
开启后可查看AI请求的Metrics、Logging、Tracing信息,Logging和Tracing依赖SLS日志投递服务。
重要当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。
服务模型
支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。
单模型服务:可以选择一个AI服务,并指定模型名称或透传。
多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。
说明指定模型名称:将改写请求Body中的模型名称。
透传:将请求Body中的模型名称透传到对应的AI服务。
多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。
说明匹配规则支持通配符
?
与*
,例如qwen-*
匹配qwen-max
、qwen-long
等模型名称。
服务列表
服务名称
选择服务名称。
模型名称
默认为透传。将请求中的模型名称直接传递给模型服务。
Fallback
开启后可添加Fallback服务,按照降序执行。
说明Fallback服务支持重复使用同一个服务组建多条策略。
Fallback列表
服务名称
选择Fallback服务名称。
模型名称
默认为透传。将请求中的模型名称直接传递给Fallback模型服务。
资源组
支持默认资源组或已有资源组。如需创建新的资源组,您可以单击创建资源组。
说明使用资源组对云账号下的资源做分类分组管理,以组为单元进行权限管理、资源部署、资源监控等,而无需单独处理各个资源。
编辑LLM API
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API操作列下的编辑,在编辑LLM API面板中修改LLM API基本信息和大模型服务,然后单击确定。
调试LLM API
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API操作列下的调试。
在调试面板中,选择域名和模型,按需开启流式请求开关、配置参数设置和自定义参数。在右侧模型返回页签中,输入调试内容并单击发送进行调试。
删除LLM API
登录AI网关控制台。
在左侧导航栏,选择实例,并在顶部菜单栏选择地域。
在实例页面,单击目标网关实例ID。
在左侧导航栏,选择LLM API,单击目标API操作列下的删除,在确定删除对话框中输入API名称,然后单击删除。