LLM(Large Language Model)应用是指基于大语言模型所开发的各种应用,大语言模型通过大量的数据和参数训练,能够回答类似人类自然语言的问题,因此在自然语言处理、文本生成和智能对话等领域有广泛应用。
由于LLM的输出结果往往很难准确预测,同时面临训练和生产效果可能出现偏差、数据分布漂移导致性能下降、数据质量不保鲜、依赖外部数据不可靠等若干因素的不可控情况,这往往会影响LLM应用的整体表现,当模型输出质量下降时能够及时识别就显得非常重要。
ARMS支持对LLM应用通过Python探针自动埋点,将LLM应用接入ARMS后,您即可查看LLM应用的调用链视图,更直观地分析不同操作类型的输入输出、Token消耗等信息。
监控视图请参见:
指标和字段说明请参见:
该文章对您有帮助吗?