提供AI可观测基础能力,其后需接ai-proxy插件,如果不接ai-proxy插件的话,则只支持OpenAI协议。
开启后能够支持产生网关粒度、路由粒度、服务粒度、模型粒度的Metric以及Log。
名称
数据类型
填写要求
默认值
描述
enable
bool
必填
-
是否开启AI统计功能
目前网关观测中心中提供了路由级、服务级以及模型级的Token使用量监控,基于此监控,您还可以进行相关告警的配置。