模型应用

云监控2.0支持接入 AI 应用,并支持在 AI 应用可观测中查看模型应用数据。

功能体验

阿里云Playground提供了云监控2.0主要功能的演示环境,便于您快速了解及体验云监控2.0。

  1. 请访问 Playground Demo 演示环境,默认进入工作空间:o11y-demo-cn-hangzhou

  2. 选择导航栏AI 应用可观测或者在应用中心选择AI 应用可观测

  3. AI 应用可观测导航栏选择模型应用,可以查看模型应用列表。

  4. 单击模型应用列表中目标应用名称,将会提供应用详情和拓扑功能。

模型应用

AI 应用可观测-模型应用中,可以看到模型应用的列表。

查询条件

用户可以设置查询条件以过滤信息。页面默认使用了两个条件:domain = apm,type = apm.service。当涉及到模型应用过滤时,建议您手动增加查询条件 feature_genai = app 来过滤模型应用。

页面布局

页面包括以下主要部分:

  1. 应用名称:应用的名称并支持单击,单击后跳转到应用详情页面。

  2. 来源:应用来源,例如apm标识应用监控,xtrace标识链路追踪。

  3. 语言:应用使用语言,例如python。

  4. 区域:应用所属区域。

  5. 请求次数:应用请求次数与趋势线。

  6. 错误次数:应用请求发生错误的次数与趋势线。

  7. 平均延迟时间:应用请求平均延迟时间与趋势线。

应用详情

实例概览

实例概览页面数据可按照时间进行筛选,页面数据包括:

  • 请求数:请求总量,日同比,请求数量趋势图,请求数提供服务排行榜。

  • 错误数:错误数总量,日同比,错误数趋势图,错误率,错误数提供服务排行榜。

  • 耗时:平均耗时,日同比,耗时趋势图,平均耗时提供服务排行榜。

  • 实例数:实例总数,日同比。

  • CPU使用情况:CPU使用峰值趋势图,CPU使用峰值实例排行榜。

关联实例

关联实例页面可按照时间进行筛选,页面数据包括:

  • 应用:可以查看应用提供的接口与支持应用的实例,单击接口或实例可查看对应接口或实例的可观测数据。

  • Kubernetes:关联的集群列表,单击目标集群可查看对应可观测数据。

  • 基础设施:关联的基础设施,单击目标基础设施可查看对应可观测数据。

  • Upstream/Downstream:关联的Upstream/Downstream列表,单击可查看对应可观测数据。

关联拓扑

该应用相关的上下游拓扑网络,例图如下:image

应用概览

应用概览页面可按照时间进行筛选,页面数据包括:

  • 数量数据:模型调用次数,Token使用量,Trace数量,Span数量,会话数,用户数,用户请求数统计。

  • 图表数据:操作类型分布图,大模型平均请求响应趋势图,请求数趋势图,模型调用排行榜,会话数趋势图。

性能分析

性能分析页面可按照时间进行筛选,页面数据包括:

  • 请求数:模型调用次数,日同比,模型调用次数时间趋势图,模型调用数排行榜。

  • 错误数:模型调用错误次数,日同比,模型调用错误趋势图,模型调用错误排行。

  • 耗时:模型调用耗时,日同比,模型调用平均耗时趋势,模型平均耗时排行,模型调用首包耗时。

Token分析

Token分析页面可按照时间进行筛选,页面数据包括:

  • Token使用量:Token使用总量,日同比,input/output消耗量趋势图,Token模型使用排行。

  • 会话平均Token用量:会话平均Token使用量,日同比,会话平均Token使用量趋势图,Token会话使用排行。

  • 请求平均Token用量:请求平均Token使用量,请求平均Token使用量趋势图,Token用户使用排行。

操作分析

操作分析包含嵌入分析,检索增强,工具调用,方法调用四类数据:

嵌入分析:

  • Embedding请求数:Embedding请求次数,日同比,Embedding请求次数时间趋势图,Embedding请求排行榜。

  • Embedding耗时:平均耗时,日同比,耗时时间趋势图,耗时排行榜。

  • Embedding错误数:Embedding错误总数,日同比,Embedding错误次数时间趋势图,Embedding错误排行榜。

检索增强:

  • 调用数:Retrieval/Rerank调用次数与日同比,Retrieval/Rerank调用数量趋势图。

  • 错误数:Retrieval/Rerank错误次数与日同比,Retrieval/Rerank错误次数趋势图。

  • 耗时:Retrieval/Rerank平均调用耗时与日同比,Retrieval/Rerank平均调用耗时趋势图。

工具调用:

  • 调用数:工具调用次数,日同比,调用数量趋势图,调用排行榜。

  • 错误数:工具调用错误次数,日同比,调用错误数量趋势图,调用错误数量排行榜。

  • 耗时:平均耗时,日同比,耗时趋势图,平均耗时排行榜。

方法调用:

  • 调用数:调用次数,日同比,调用数量趋势图,调用排行榜。

  • 错误数:模型调用错误次数,日同比,模型调用错误数量趋势图,调用错误数量排行榜。

  • 耗时:平均耗时,日同比,耗时趋势图,平均耗时排行榜。

调用链分析

调用链分析页面可按照时间进行筛选,您可在此页面通过查询分析语句直接查询,或使用快捷筛选帮助查询数据。页面包含Span列表,Trace列表,散点图,全链路聚合,全链路拓扑,错/慢Trace分析等数据并支持查询详情与原始日志。您也可以在页面聚合栏选择聚合维度来筛选您需要的数据。

image