云监控2.0支持接入 AI 应用,并支持在 AI 应用可观测中查看模型应用数据。
功能体验
阿里云Playground提供了云监控2.0主要功能的演示环境,便于您快速了解及体验云监控2.0。
请访问 Playground Demo 演示环境,默认进入工作空间:
o11y-demo-cn-hangzhou
。选择导航栏AI 应用可观测或者在应用中心选择AI 应用可观测。
在AI 应用可观测导航栏选择模型应用,可以查看模型应用列表。
单击模型应用列表中目标应用名称,将会提供应用详情和拓扑功能。
模型应用
在AI 应用可观测-模型应用中,可以看到模型应用的列表。
查询条件
用户可以设置查询条件以过滤信息。页面默认使用了两个条件:domain = apm,type = apm.service。当涉及到模型应用过滤时,建议您手动增加查询条件 feature_genai = app 来过滤模型应用。
页面布局
页面包括以下主要部分:
应用名称:应用的名称并支持单击,单击后跳转到应用详情页面。
来源:应用来源,例如apm标识应用监控,xtrace标识链路追踪。
语言:应用使用语言,例如python。
区域:应用所属区域。
请求次数:应用请求次数与趋势线。
错误次数:应用请求发生错误的次数与趋势线。
平均延迟时间:应用请求平均延迟时间与趋势线。
应用详情
实例概览
实例概览页面数据可按照时间进行筛选,页面数据包括:
请求数:请求总量,日同比,请求数量趋势图,请求数提供服务排行榜。
错误数:错误数总量,日同比,错误数趋势图,错误率,错误数提供服务排行榜。
耗时:平均耗时,日同比,耗时趋势图,平均耗时提供服务排行榜。
实例数:实例总数,日同比。
CPU使用情况:CPU使用峰值趋势图,CPU使用峰值实例排行榜。
关联实例
关联实例页面可按照时间进行筛选,页面数据包括:
应用:可以查看应用提供的接口与支持应用的实例,单击接口或实例可查看对应接口或实例的可观测数据。
Kubernetes:关联的集群列表,单击目标集群可查看对应可观测数据。
基础设施:关联的基础设施,单击目标基础设施可查看对应可观测数据。
Upstream/Downstream:关联的Upstream/Downstream列表,单击可查看对应可观测数据。
关联拓扑
该应用相关的上下游拓扑网络,例图如下:
应用概览
应用概览页面可按照时间进行筛选,页面数据包括:
数量数据:模型调用次数,Token使用量,Trace数量,Span数量,会话数,用户数,用户请求数统计。
图表数据:操作类型分布图,大模型平均请求响应趋势图,请求数趋势图,模型调用排行榜,会话数趋势图。
性能分析
性能分析页面可按照时间进行筛选,页面数据包括:
请求数:模型调用次数,日同比,模型调用次数时间趋势图,模型调用数排行榜。
错误数:模型调用错误次数,日同比,模型调用错误趋势图,模型调用错误排行。
耗时:模型调用耗时,日同比,模型调用平均耗时趋势,模型平均耗时排行,模型调用首包耗时。
Token分析
Token分析页面可按照时间进行筛选,页面数据包括:
Token使用量:Token使用总量,日同比,input/output消耗量趋势图,Token模型使用排行。
会话平均Token用量:会话平均Token使用量,日同比,会话平均Token使用量趋势图,Token会话使用排行。
请求平均Token用量:请求平均Token使用量,请求平均Token使用量趋势图,Token用户使用排行。
操作分析
操作分析包含嵌入分析,检索增强,工具调用,方法调用四类数据:
嵌入分析:
Embedding请求数:Embedding请求次数,日同比,Embedding请求次数时间趋势图,Embedding请求排行榜。
Embedding耗时:平均耗时,日同比,耗时时间趋势图,耗时排行榜。
Embedding错误数:Embedding错误总数,日同比,Embedding错误次数时间趋势图,Embedding错误排行榜。
检索增强:
调用数:Retrieval/Rerank调用次数与日同比,Retrieval/Rerank调用数量趋势图。
错误数:Retrieval/Rerank错误次数与日同比,Retrieval/Rerank错误次数趋势图。
耗时:Retrieval/Rerank平均调用耗时与日同比,Retrieval/Rerank平均调用耗时趋势图。
工具调用:
调用数:工具调用次数,日同比,调用数量趋势图,调用排行榜。
错误数:工具调用错误次数,日同比,调用错误数量趋势图,调用错误数量排行榜。
耗时:平均耗时,日同比,耗时趋势图,平均耗时排行榜。
方法调用:
调用数:调用次数,日同比,调用数量趋势图,调用排行榜。
错误数:模型调用错误次数,日同比,模型调用错误数量趋势图,调用错误数量排行榜。
耗时:平均耗时,日同比,耗时趋势图,平均耗时排行榜。
调用链分析
调用链分析页面可按照时间进行筛选,您可在此页面通过查询分析语句直接查询,或使用快捷筛选帮助查询数据。页面包含Span列表,Trace列表,散点图,全链路聚合,全链路拓扑,错/慢Trace分析等数据并支持查询详情与原始日志。您也可以在页面聚合栏选择聚合维度来筛选您需要的数据。