AI 可观测

操作步骤

1. 登录云原生API网关控制台。

2. 在左侧导航栏，选择API，并在顶部菜单栏选择地域。

3. 在AI API列表中，单击目标API，进入目标API详情页面。

4. 选择统计页签，单击立即开通日志服务 SLS。您可在网关中使用日志服务 SLS 进行日志的采集、分析与展示。日志将以日志流的形式发送到您账户下指定的 Log Project。

   开通后可查看apig-ai-api观测大盘，AI 观测的关键指标包括：

   • QPS：每秒 AI 请求和响应的数量统计，分为 AI 请求的 QPS、流式响应的 QPS 和非流式响应的 QPS。

   • 请求成功率：即 AI 请求的成功率，可按秒、15 秒、分钟进行统计。

   • token 消耗数/s：每秒消耗的 token 数量，分为输入 token、输出 token 和总计 token。

   • 请求平均 RT：一段时间内（秒、15 秒、分钟） AI 请求的平均响应时间（ms），分为非流式 RT、流式 RT（流式响应的整体时间）、流式首包 RT（流式响应的首包时间）。

   • 缓存的命中数：一段时间内缓存的命中数和 miss 数统计。

   • 限流统计：一段时间内被限流的请求和正常请求的统计。

   • 按模型的 token 统计：一段时间内不同模型的 token 消耗统计。

   • 按消费者的 token 统计：一段时间内不同消费者的 token 消耗统计。

   • 风险统计：被内容安全检测出来的风险，按照风险类型、消费者等维度的统计。

5. 选择日志页签，单击立即开通日志服务 SLS。如图所示：