管理模型元信息

更新时间:
复制 MD 格式

AI 网关使用模型元信息资源管理隶属于供应商的具体 AI 模型。您可以在 AI 网关实例中创建、编辑和删除模型,配置其 Credits 消耗、Token 上限、能力特性和可用路径等信息,使模型可用于 Model API 和路由配置。

前提条件

模型元信息概述

模型元信息是隶属于某个供应商的具体 AI 模型实例。每个模型元信息包含:

  • 基础信息:所属供应商、名称、信息来源 URL

  • Credits 信息:输入/输出/缓存 Token 消耗的 Credits 单价。

  • 能力与性能:最大输入/输出/总 Token 上限,输入/输出模态,能力特性

  • 可用路径:模型支持的 API 路径和协议类型

使用限制

使用模型管理功能时,需遵循以下限制:

  • 路径必须以 / 开头。

  • 同一模型内的可用路径不建议重复。

  • Credits 消耗参数如填写,必须为大于等于 0 的数字,最多两位小数。

  • 如当前实例内无可用供应商,无法创建模型,需先创建供应商或启用预置供应商。

查看模型元信息列表

  1. 登录AI 网关控制台,选择实例所在的地域,并单击目标实例 ID。

  2. 单击左侧导航栏中的模型元信息管理,进入模型管理页面。

  3. 默认展示模型元信息页签,查看当前实例下的模型列表。

包含以下列:

列名

说明

模型名称

模型的展示名称

单价

输入、输出、缓存 Credits 单价(Credits/1M tokens)

总 Token 上限

模型的总 Token 上限

能力

模型已启用的能力特性数量与全部可选能力特性数量(15 项)的比值,如 5/15。

供应商

模型绑定的供应商名称

更新时间

最近一次资源更新时间

操作

查看、编辑、删除

创建模型元信息

  1. 单击创建模型元信息

    打开创建面板后,按以下折叠面板依次配置参数:

    基础信息

    基础信息

    以下参数为基础信息,供应商和名称为必填项。

    参数

    说明

    供应商

    必填。下拉展示当前实例内所有可用供应商(预置 + 自定义)。如无可用的供应商,无法创建模型并提示先创建供应商或启用预置供应商

    模型名称

    必填。模型的展示名称。

    Credits 信息

    Credits 信息

    以下参数为可选配置,用于控制模型调用时的 Credits 消耗。

    参数

    说明

    输入 Token 消耗

    选填。单位 Credits/1M tokens,如填写必须为大于等于 0 的数字,最多两位小数。默认值为 0

    输出 Token 消耗

    选填。单位 Credits/1M tokens,如填写必须为大于等于 0 的数字,最多两位小数。默认值为 0

    缓存 Token 消耗

    选填。单位 Credits/1M tokens,如填写必须为大于等于 0 的数字,最多两位小数。默认值为 0

    能力与性能

    能力与性能

    以下参数为可选配置,用于描述模型的能力边界。

    参数

    说明

    最大输入 Token

    选填。最大输入 Token 数,如填写必须为大于等于 0 的整数

    最大输出 Token

    选填。最大输出 Token 数,如填写必须为大于等于 0 的整数

    总 Token 上限

    选填。总 Token 上限,如填写必须为大于等于 0 的整数

    输入模态

    选填。多选,可选值:text、image、audio、video

    输出模态

    选填。多选,可选值:text、image、audio、video

    能力特性

    能力特性

    模型支持以下能力特性,按需勾选(多选)。以下参数为可选配置。

    能力特性

    说明

    系统消息

    支持 System Prompt

    结构化输出

    支持 Structured Output

    函数调用

    支持 Function Calling

    工具选择

    支持 Tool Choice

    前缀补全

    支持 Prefix Completion

    Prompt 缓存

    支持 Prompt Cache

    计算机操作

    支持 Computer Use

    PDF 输入

    支持 PDF Input

    视觉理解

    支持 Vision

    图像 Embedding

    支持 Image Embedding

    流式输出

    支持 Streaming Output

    并行函数调用

    支持 Parallel Function Calling

    联网搜索

    支持 Web Search

    推理模式

    支持 Reasoning

    URL 上下文

    支持 URL Context

    可用路径

    可用路径

    以下参数为必填项,用于配置模型支持的 API 路径和协议。

    参数

    说明

    路径

    必填。模型支持的 API 路径,必须以 / 开头。例如 /v1/chat/completions。同一模型内可用路径不建议重复

    协议类型

    必填。可选:OpenAI Compatible、Anthropic Compatible、Custom

    单击添加路径可新增一条可用路径。

  2. 配置完成后,单击确定完成创建。新模型将出现在列表中。

创建成功后,可在模型列表中查看新模型状态,发送测试请求验证路径和 Token 配置是否生效。

编辑模型元信息

  1. 找到目标模型,单击操作列的编辑

  2. 修改需要调整的参数。编辑时可修改以下参数:供应商、名称、Credits 信息(输入/输出/缓存 Token 消耗)、能力与性能(最大输入/输出/总 Token 上限、输入/输出模态)、能力特性、可用路径(路径和协议类型)。

  3. 修改完成后单击确定保存。

编辑模型名称时,会影响 Model API 和路由中的模型名称候选展示。

删除模型元信息

  1. 找到目标模型,单击操作列的删除

  2. 确认后删除。

删除模型后从列表中移除,但不影响已保存的 Model API 和路由中的模型名称字符串(Model API 中以字符串方式存储的模型名称不会因模型资源删除而失效)。

后续步骤

  • 将已创建的模型关联到 Model API 配置中,供应用调用。

  • 路由配置中选择该模型作为目标模型,实现流量分发。

  • 如需添加更多模型,请先管理供应商