AI 网关使用模型元信息资源管理隶属于供应商的具体 AI 模型。您可以在 AI 网关实例中创建、编辑和删除模型,配置其 Credits 消耗、Token 上限、能力特性和可用路径等信息,使模型可用于 Model API 和路由配置。
前提条件
模型元信息概述
模型元信息是隶属于某个供应商的具体 AI 模型实例。每个模型元信息包含:
基础信息:所属供应商、名称、信息来源 URL
Credits 信息:输入/输出/缓存 Token 消耗的 Credits 单价。
能力与性能:最大输入/输出/总 Token 上限,输入/输出模态,能力特性
可用路径:模型支持的 API 路径和协议类型
使用限制
使用模型管理功能时,需遵循以下限制:
路径必须以
/开头。同一模型内的可用路径不建议重复。
Credits 消耗参数如填写,必须为大于等于 0 的数字,最多两位小数。
如当前实例内无可用供应商,无法创建模型,需先创建供应商或启用预置供应商。
查看模型元信息列表
登录AI 网关控制台,选择实例所在的地域,并单击目标实例 ID。
单击左侧导航栏中的模型元信息管理,进入模型管理页面。
默认展示模型元信息页签,查看当前实例下的模型列表。
包含以下列:
列名 | 说明 |
模型名称 | 模型的展示名称 |
单价 | 输入、输出、缓存 Credits 单价(Credits/1M tokens) |
总 Token 上限 | 模型的总 Token 上限 |
能力 | 模型已启用的能力特性数量与全部可选能力特性数量(15 项)的比值,如 5/15。 |
供应商 | 模型绑定的供应商名称 |
更新时间 | 最近一次资源更新时间 |
操作 | 查看、编辑、删除 |
创建模型元信息
单击创建模型元信息。
打开创建面板后,按以下折叠面板依次配置参数:
配置完成后,单击确定完成创建。新模型将出现在列表中。
创建成功后,可在模型列表中查看新模型状态,发送测试请求验证路径和 Token 配置是否生效。
编辑模型元信息
找到目标模型,单击操作列的编辑。
修改需要调整的参数。编辑时可修改以下参数:供应商、名称、Credits 信息(输入/输出/缓存 Token 消耗)、能力与性能(最大输入/输出/总 Token 上限、输入/输出模态)、能力特性、可用路径(路径和协议类型)。
修改完成后单击确定保存。
编辑模型名称时,会影响 Model API 和路由中的模型名称候选展示。
删除模型元信息
找到目标模型,单击操作列的删除。
确认后删除。
删除模型后从列表中移除,但不影响已保存的 Model API 和路由中的模型名称字符串(Model API 中以字符串方式存储的模型名称不会因模型资源删除而失效)。
后续步骤
将已创建的模型关联到 Model API 配置中,供应用调用。
路由配置中选择该模型作为目标模型,实现流量分发。
如需添加更多模型,请先管理供应商。