为LLM(Large Language Model)应用安装Python探针后,ARMS即可开始监控LLM应用,您可以在会话分析页面了解LLM应用在指定时间段内的会话列表,以及会话的详细内容。
已为LLM应用安装探针,具体操作,请参见LLM 大语言模型应用接入 ARMS。
登录ARMS控制台,在左侧导航栏选择LLM应用监控 > 应用列表。
在应用列表页面顶部选择目标地域,然后单击目标应用名称。
在上方导航栏单击会话分析。
单击页面搜索框,在下拉弹窗中可以按照会话ID、用户、会话时长、Trace数、Token总数、输入Token数、输出Token数等条件筛选会话。
单击会话名称或操作列的详情,查看会话详细信息。
单击调用链ID,可以查看调用链详情,更多信息,请参见LLM调用链分析。
LLM指标说明
LLM Trace字段定义说明