管理LLM API

LLM API适用于面向人工智能应用开发的团队,提供了更加灵活和智能的AI网关配置和调试能力。它可以用于各种AI代理、AI观测、消费者鉴权、内容安全防护等插件的预置。本文主要介绍了如何创建、更新LLM API。

创建LLM API

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,然后单击创建LLM API

  5. 创建LLM API面板中,根据页面提示配置创建API相关参数后,单击确定

    配置项

    说明

    API名称

    自定义创建的API名称。

    重要

    API名称必须全局唯一。

    域名

    访问LLM API使用的域名,支持选择多个域名。

    说明

    域名与基本路径(BasePath)的组合全局唯一,不可重复。

    Base Path

    API的基本路径。

    AI请求观测

    开启后可查看AI请求的Metrics、Logging、Tracing信息,LoggingTracing依赖SLS日志投递服务。

    重要

    当您启用AI请求观测功能时,系统网关将自动记录所有AI请求的内容(包括请求体body)至访问日志中。请您务必确保所使用的SLS(日志服务)配置恰当,并采取必要的安全措施以保护日志内容的安全性,防止任何潜在的信息泄露或其他形式的信息安全风险。

    服务模型

    支持单模型服务、多模型服务(按比例)、多模型服务(按模型名称)。

    • 单模型服务:可以选择一个AI服务,并指定模型名称或透传。

    • 多模型服务(按比例):可以选择多个AI服务,按照比例分配流量,支持指定模型名称或透传。

      说明
      • 指定模型名称:将改写请求Body中的模型名称。

      • 透传:将请求Body中的模型名称透传到对应的AI服务。

    • 多模型服务(按模型名称):支持按匹配规则匹配请求中的模型名称,将请求转发至对应的AI服务。

      说明

      匹配规则支持通配符?*,例如qwen-*匹配qwen-maxqwen-long等模型名称。

    服务列表

    服务名称

    选择服务名称。

    模型名称

    默认为透传。将请求中的模型名称直接传递给模型服务。

    Fallback

    开启后可添加Fallback服务,按照降序执行。

    说明

    Fallback服务支持重复使用同一个服务组建多条策略。

    Fallback列表

    服务名称

    选择Fallback服务名称。

    模型名称

    默认为透传。将请求中的模型名称直接传递给Fallback模型服务。

    资源组

    支持默认资源组或已有资源组。如需创建新的资源组,您可以单击创建资源组

    说明

    使用资源组对云账号下的资源做分类分组管理,以组为单元进行权限管理、资源部署、资源监控等,而无需单独处理各个资源。

编辑LLM API

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API操作列下的编辑,在编辑LLM API面板中修改LLM API基本信息大模型服务,然后单击确定

调试LLM API

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API操作列下的调试

  5. 调试面板中,选择域名和模型,按需开启流式请求开关、配置参数设置和自定义参数。在右侧模型返回页签中,输入调试内容并单击发送进行调试。

    image

删除LLM API

  1. 登录AI网关控制台

  2. 在左侧导航栏,选择实例,并在顶部菜单栏选择地域。

  3. 实例页面,单击目标网关实例ID。

  4. 在左侧导航栏,选择LLM API,单击目标API操作列下的删除,在确定删除对话框中输入API名称,然后单击删除