LLM API适用于面向人工智能应用开发的团队，提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。本文主要介绍了如何创建、更新LLM API。
创建LLM API
登录AI网关控制台。
在左侧导航栏，选择实例，并在顶部菜单栏选择地域。
在实例页面，单击目标网关实例ID。
在左侧导航栏，选择LLM API，然后单击创建LLM API。
在创建LLM API面板中，根据页面提示配置创建API相关参数后，单击确定。
配置项
说明
API名称
自定义创建的API名称。
重要API名称必须全局唯一。
域名
访问LLM API使用的域名，支持选择多个域名。
说明域名与基本路径(BasePath)的组合全局唯一，不可重复。
Base Path
API的基本路径。
AI请求观测
开启后可查看AI请求的Metrics、Logging、Tracing信息，Logging和Tracing依赖SLS日志投递服务。
重要当您启用AI请求观测功能时，系统网关将自动记录所有AI请求的内容（包括请求体body）至访问日志中。请您务必确保所使用的SLS（日志服务）配置恰当，并采取必要的安全措施以保护日志内容的安全性，防止任何潜在的信息泄露或其他形式的信息安全风险。
服务模型
支持单模型服务、多模型服务（按比例）、多模型服务（按模型名称）。
单模型服务：可以选择一个AI服务，并指定模型名称或透传。
多模型服务（按比例）：可以选择多个AI服务，按照比例分配流量，支持指定模型名称或透传。
说明指定模型名称：将改写请求Body中的模型名称。
透传：将请求Body中的模型名称透传到对应的AI服务。
多模型服务（按模型名称）：支持按匹配规则匹配请求中的模型名称，将请求转发至对应的AI服务。
说明匹配规则支持通配符
?与*，例如qwen-*匹配qwen-max、qwen-long等模型名称。
服务列表
服务名称
选择服务名称。
模型名称
默认为透传。将请求中的模型名称直接传递给模型服务。
Fallback
开启后可添加Fallback服务，按照降序执行。
说明Fallback服务支持重复使用同一个服务组建多条策略。
Fallback列表
服务名称
选择Fallback服务名称。
模型名称
默认为透传。将请求中的模型名称直接传递给Fallback模型服务。
资源组
支持默认资源组或已有资源组。如需创建新的资源组，您可以单击创建资源组。
说明使用资源组对云账号下的资源做分类分组管理，以组为单元进行权限管理、资源部署、资源监控等，而无需单独处理各个资源。
编辑LLM API
登录AI网关控制台。
在左侧导航栏，选择实例，并在顶部菜单栏选择地域。
在实例页面，单击目标网关实例ID。
在左侧导航栏，选择LLM API，单击目标API操作列下的编辑，在编辑LLM API面板中修改LLM API基本信息和大模型服务，然后单击确定。
调试LLM API
登录AI网关控制台。
在左侧导航栏，选择实例，并在顶部菜单栏选择地域。
在实例页面，单击目标网关实例ID。
在左侧导航栏，选择LLM API，单击目标API操作列下的调试。
在调试面板中，选择域名和模型，按需开启流式请求开关、配置参数设置和自定义参数。在右侧模型返回页签中，输入调试内容并单击发送进行调试。
删除LLM API
登录AI网关控制台。
在左侧导航栏，选择实例，并在顶部菜单栏选择地域。
在实例页面，单击目标网关实例ID。
在左侧导航栏，选择LLM API，单击目标API操作列下的删除，在确定删除对话框中输入API名称，然后单击删除。