AI 可观测

操作步骤

1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。

2. 在左侧导航栏，单击Model API，然后单击目标API名称进入API详情页面。

3. 单击统计页签，您可查看apig-ai-api-dashboard，AI 可观测的关键指标包括：

   重要

   AI 网关中使用日志服务 SLS 进行日志的采集、分析与展示。如果您还未开启网关日志投递，请单击立即开通日志投递功能进行配置。

   • QPS：每秒 AI 请求和响应的数量统计，分为 AI 请求的 QPS、流式响应的 QPS 和非流式响应的 QPS。

   • 请求成功率：即 AI 请求的成功率，可按秒、15 秒、分钟进行统计。

   • token消耗数/s：每秒消耗的 token 数量，分为输入 token、输出 token 和总计 token。

   • 请求平均RT/ms：一段时间内（秒、15 秒、分钟） AI 请求的平均响应时间（ms），分为非流式 RT、流式 RT（流式响应的整体时间）、流式首包 RT（流式响应的首包时间）。

   • 缓存命中情况/s：一段时间内缓存的命中数和 miss 数统计。

   • 限流请求数/s：一段时间内被限流的请求和正常请求的统计。

   • 模型token使用统计：一段时间内不同模型的 token 消耗统计。

   • 消费者token使用统计：一段时间内不同消费者的 token 消耗统计。

   • 风险类型统计：被内容安全检测出来的风险，按照风险类型、消费者等维度的统计。

   • 风险消费者统计：被消费者鉴权检测出来的消费者风险统计。

   • 限流消费者统计：被限流检测出来的消费者风险。

4. 单击日志页签，您可以通过SQL对查询结果进行统计分析。更多详情，请参见查询与分析快速指引。