LLM调用链分析

将LLM的Trace数据上报至可观测链路 OpenTelemetry 版后,调用链分析功能将会对大模型应用的调用链信息进行分析,您可以在调用链分析页面查看大模型调用链中不同类型的Span耗时、以及Span的关联信息,例如Input、Output、Token消耗等。

重要

LLM调用链分析功能正在内测中,如需体验该功能,请加入钉钉群(群号:67690017432)获取帮助。

前提条件

已将LLM的Trace数据上报至可观测链路 OpenTelemetry 版。具体操作,请参见开始监控LLM应用

筛选调用链

  1. 登录可观测链路 OpenTelemetry 版控制台

  2. 在左侧导航栏单击调用链分析,然后在顶部菜单栏选择目标地域。

  3. 调用链分析页面右上角的时间选择框设置需要查询的时间段,并单击大模型视图

  4. 筛选调用链。

    • 在左侧快捷筛选区域,通过状态、耗时、Span名称、接口名称和模型名称维度快速筛选调用链。

      筛选条件将会显示在页面顶部文本框内。

    • 单击顶部文本框,在下拉弹窗中修改筛选条件或设置其他维度的筛选条件。

      image

    • 在顶部文本框直接输入查询条件。查询语法说明,请参见调用链分析查询用法说明

      说明
      • 单击文本框右侧的保存图标可以保存当前筛选条件。

      • 单击文本框右侧的已保存视图可以查看已保存的筛选条件,单击目标的筛选条件可以快速查看对应筛选条件下的调用链信息。

      • 选择聚合维度,可以将筛选后的数据按照指定维度聚合。

调用链列表

筛选设置完成后,调用链分析页面将会显示筛选过滤后的LLM调用链信息,包括调用次数、Tokens、耗时百分位和耗时分布,以及调用链列表。

image

调用链列表显示了调用链的Trace ID、接口名称、耗时、Total tokens、开始时间、会话ID。在调用链列表区域,您可以执行以下操作:

  • 单击目标Trace右侧操作列的详情,可以查看完整的调用链信息。更多信息,请参见调用链详情

  • 单击目标Trace右侧操作列的日志,可以查看调用链对应的日志信息。

  • 单击右上角的设置图标可以增加或隐藏列表显示的参数。

  • 将鼠标悬浮于Trace参数上,单击右侧的过滤图标,可以将当前参数值添加为筛选条件。

调用链详情

在调用链详情面板可以查看调用链的时间轴、开始时间、总耗时,以及Span名称、类型、应用名称、Token数、耗时等信息。

image

在链路详情面板,您可以执行以下操作:

  • 将鼠标悬浮于Tokens标签上,可以查看Token数据详情。

  • 单击Span名称,可以查看该Span的时长、开始时间、附加信息、指标、日志等信息。不同的操作类型展示信息略有不同。

    • 附加信息展示了模型名称、输入问题、Prompt模板、调用参数和返回结果。

    • Attribute字段说明,请参见LLM Trace字段定义说明

相关文档

调用链分析更多功能说明,请参见调用链分析