模型服务AI网关是一款智能中间件服务,用于统一管理和优化企业AI模型调用。其核心功能包括智能路由(自动分配请求至最佳模型)、负载均衡、身份鉴权、流量控制及缓存加速,同时提供实时监控与数据分析。
前提条件
已经完成云监控2.0接入AI 应用可观测。
查看服务列表
登录云监控2.0控制台,选择目标工作空间,在左侧导航栏选择 。
在AI 应用可观测的导航栏,选择
。您可以在AI服务网关页面查看AI网关和AI API的服务列表,以及相应的基本指标:
AI网关指标包括:实例名称、AI 网关ID、区域、规格、状态、虚拟网络ID、虚拟交换机ID、副本数、资源组ID。
AI API指标包括:API 名称、API ID、区域、模型供应商、API 协议、API 基础路径、网关ID。
筛选服务列表数据。
在AI网关和AI API页签列表,单击字段列的
图标,可以筛选相应字段。
在服务列表右上方,可以选择时间段或者自定义时间筛选数据,如:1分钟、5分钟、15分钟、1小时、1天等时间段。
单击目标实例名称或API名称,可以访问AI网关或AI API的可视化仪表盘,查看QPS、请求成功率、Token消耗数、响应时间等指标。
监控大盘
安全大盘
该文章对您有帮助吗?