场景化分析

更新时间:
复制 MD 格式

LLM(Large Language Model)应用安装Python探针后,ARMS即可开始监控LLM应用,您可以在场景化分析页面查看LLM应用在指定时间段内的会话列表和模型使用情况。

前提条件

已为LLM应用安装探针,具体操作,请参见LLM 大语言模型应用/推理服务接入 ARMS

会话分析

  • 单击页面搜索框,在下拉弹窗中可以按照会话ID、用户、会话时长、Trace数、Token总数、输入Token数、输出Token数等条件筛选会话。

  • 单击会话名称或操作列的详情,查看会话详细信息。

    单击调用链ID,可以查看调用链详情,更多信息,请参见LLM调用链分析

    会话详情面板展示 Session ID总耗时Total tokens调用链数开始时间用户ID模型名称等基本信息,中部以时间轴甘特图展示各调用链的时序分布,下方列出每条调用链的 Input/Output 内容、调用链 ID(可单击跳转)、Token 消耗及所用模型。

模型分析

在页签顶部可以选择需要查看的模型名称。指标的详细信息请参见LLM指标说明

image