为LLM(Large Language Model)应用安装Python探针后,ARMS即可开始监控LLM应用,您可以在场景化分析页面查看LLM应用在指定时间段内的会话列表和模型使用情况。
前提条件
已为LLM应用安装探针,具体操作,请参见LLM 大语言模型应用/推理服务接入 ARMS。
会话分析
-
单击页面搜索框,在下拉弹窗中可以按照会话ID、用户、会话时长、Trace数、Token总数、输入Token数、输出Token数等条件筛选会话。
-
单击会话名称或操作列的详情,查看会话详细信息。
单击调用链ID,可以查看调用链详情,更多信息,请参见LLM调用链分析。
会话详情面板展示 Session ID、总耗时、Total tokens、调用链数、开始时间、用户ID及模型名称等基本信息,中部以时间轴甘特图展示各调用链的时序分布,下方列出每条调用链的 Input/Output 内容、调用链 ID(可单击跳转)、Token 消耗及所用模型。
模型分析
在页签顶部可以选择需要查看的模型名称。指标的详细信息请参见LLM指标说明。

该文章对您有帮助吗?