文档

AI 可观测

更新时间:

提供AI可观测基础能力,其后需接ai-proxy插件,如果不接ai-proxy插件的话,则只支持OpenAI协议。

配置说明

开启后能够支持产生网关粒度、路由粒度、服务粒度、模型粒度的Metric以及Log。

名称

数据类型

填写要求

默认值

描述

enable

bool

必填

-

是否开启AI统计功能

使用说明

目前网关观测中心中提供了路由级、服务级以及模型级的Token使用量监控,基于此监控,您还可以进行相关告警的配置。

image