将LLM的Trace数据上报至可观测链路 OpenTelemetry 版后,调用链分析功能将会对大模型应用的调用链信息进行分析,您可以在调用链分析页面查看大模型调用链中不同类型的Span耗时、以及Span的关联信息,例如Input、Output、Token消耗等。
LLM调用链分析功能正在内测中,如需体验该功能,请加入钉钉群(群号:67690017432)获取帮助。
前提条件
已将LLM的Trace数据上报至可观测链路 OpenTelemetry 版。具体操作,请参见开始监控LLM应用。
筛选调用链
在左侧导航栏单击调用链分析,然后在顶部菜单栏选择目标地域。
在调用链分析页面右上角的时间选择框设置需要查询的时间段,并单击大模型视图。
筛选调用链。
在左侧快捷筛选区域,通过状态、耗时、Span名称、接口名称和模型名称维度快速筛选调用链。
筛选条件将会显示在页面顶部文本框内。
单击顶部文本框,在下拉弹窗中修改筛选条件或设置其他维度的筛选条件。
在顶部文本框直接输入查询条件。查询语法说明,请参见调用链分析查询用法说明。
说明单击文本框右侧的图标可以保存当前筛选条件。
单击文本框右侧的已保存视图可以查看已保存的筛选条件,单击目标的筛选条件可以快速查看对应筛选条件下的调用链信息。
选择聚合维度,可以将筛选后的数据按照指定维度聚合。
调用链列表
筛选设置完成后,调用链分析页面将会显示筛选过滤后的LLM调用链信息,包括调用次数、Tokens、耗时百分位和耗时分布,以及调用链列表。
调用链列表显示了调用链的Trace ID、接口名称、耗时、Total tokens、开始时间、会话ID。在调用链列表区域,您可以执行以下操作:
单击目标Trace右侧操作列的详情,可以查看完整的调用链信息。更多信息,请参见调用链详情。
单击目标Trace右侧操作列的日志,可以查看调用链对应的日志信息。
单击右上角的图标可以增加或隐藏列表显示的参数。
将鼠标悬浮于Trace参数上,单击右侧的图标,可以将当前参数值添加为筛选条件。
调用链详情
在调用链详情面板可以查看调用链的时间轴、开始时间、总耗时,以及Span名称、类型、应用名称、Token数、耗时等信息。
在链路详情面板,您可以执行以下操作:
将鼠标悬浮于Tokens标签上,可以查看Token数据详情。
单击Span名称,可以查看该Span的时长、开始时间、附加信息、指标、日志等信息。不同的操作类型展示信息略有不同。
附加信息展示了模型名称、输入问题、Prompt模板、调用参数和返回结果。
Attribute字段说明,请参见LLM Trace字段定义说明。
相关文档
调用链分析更多功能说明,请参见调用链分析。