AI 网关服务

模型服务AI网关是一款智能中间件服务,用于统一管理和优化企业AI模型调用。其核心功能包括智能路由(自动分配请求至最佳模型)、负载均衡、身份鉴权、流量控制及缓存加速,同时提供实时监控与数据分析。

前提条件

已经完成云监控2.0接入AI 应用可观测。

查看服务列表

  1. 登录云监控2.0控制台,选择目标工作空间,在左侧导航栏选择应用中心 > 运维监控 > AI 应用可观测

  2. AI 应用可观测的导航栏,选择模型服务 > AI网关服务

    您可以在AI服务网关页面查看AI网关AI API的服务列表,以及相应的基本指标:

    • AI网关指标包括:实例名称、AI 网关ID、区域、规格、状态、虚拟网络ID、虚拟交换机ID、副本数、资源组ID。

    • AI API指标包括:API 名称、API ID、区域、模型供应商、API 协议、API 基础路径、网关ID。

  3. 筛选服务列表数据。

    1. AI网关AI API页签列表,单击字段列的image图标,可以筛选相应字段。

    2. 在服务列表右上方,可以选择时间段或者自定义时间筛选数据,如:1分钟、5分钟、15分钟、1小时、1天等时间段。

  4. 单击目标实例名称API名称,可以访问AI网关AI API的可视化仪表盘,查看QPS、请求成功率、Token消耗数、响应时间等指标。

    监控大盘

    image

    安全大盘

    image