术语

术语

描述

大语言模型（LLM）

大语言模型（Large Language Model）是一类基于海量数据训练（一般TB级以上）而成的，拥有超大规模参数（通常数十亿甚至数万亿级）的深度学习的自然语言处理模型，能够理解、推理、生成自然语言文本，甚至声音、图像和视频。

智能体（Agent）

Agent是一个能够感知环境、通过执行器作用于环境，并具备自主性、反应性、社会性和主动性等特征的计算实体。它将大语言模型作为核心计算引擎，实现感知（Perception）、规划（Planning）、行动（Action）的闭环工作流程。

词元（Token）

词元（Token）也叫令牌，是大语言模型处理文本的基本单位，它可以是一个单词、子词、标点、字符，具体取决于所使用的分词器（Tokenizer）。LLM的输入和输出均以Token序列形式进行处理，模型的上下文长度（如8K、32K）即指最大支持的Token数量。

记忆（Memory）

“记忆”指用于存储和管理对话历史、用户偏好、任务状态或外部知识的机制，使模型具备跨轮次或跨会话的上下文感知能力。记忆可分为：

• 短期记忆（Short-term Memory）：通常指当前对话的上下文（即对话历史），随会话结束而清除；

• 长期记忆（Long-term Memory）：通过向量数据库、知识图谱或结构化存储持久化用户信息，可在后续交互中检索使用。

思维链（Chain of Thoughts）

思维树（Tree of Thoughts）通过在任务的每一步探索多种推理可能性来扩展思维链。它首先将问题分解为多个思考步骤，并在每个步骤中生成多个想法，从而创建一个树状结构。搜索过程可以是BFS（广度优先搜索）或DFS（深度优先搜索）。

检索增强生成（RAG）

检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合检索和生成技术的模型。它通过引用外部知识库的信息来生成答案或内容，具有较强的可解释性和定制能力，适用于问答系统、文档生成、智能助手等多个自然语言处理任务中。RAG模型的优势在于通用性强、可实现即时的知识更新，以及通过端到端评估方法提供更高效和精准的信息服务。

知识库（Knowledge Base）

知识库是指为模型提供外部事实性信息的结构化或非结构化数据集合，通常用于 RAG（检索增强生成）架构。知识库内容可来自企业文档、FAQ、数据库、网页等。当用户提问时，系统先从知识库中检索相关片段，再将这些信息与用户查询一起输入给 LLM，以生成更准确、可溯源的回答。

Query改写（Query Rewriting）

Query改写是指在信息检索或 RAG 系统中，对用户原始查询进行语义优化或重构，以提升后续检索或生成效果的技术。常见形式包括：查询扩展、查询精炼、历史上下文融合。

意图识别（Intent Recognition）

意图识别是自然语言理解（NLU）的核心任务之一，旨在自动判断用户输入语句背后的目标或目的（即“意图”）。在 LLM 应用中，意图识别可用于：

• 路由用户请求到对应的业务模块（如客服机器人中的技能分发）

• 触发特定的工具调用或工作流

• 提升RAG系统的检索相关性（根据意图调整检索策略）

可观测（Observability）

可观测性是指对 LLM 应用内部运行状态进行监控、追踪和诊断的能力。由于 LLM 的“黑盒”特性，其输出可能难以调试，因此需要通过可观测性工具记录关键环节数据，包括：提示词、模型输出、检索结果、工具调用、延迟、Token消耗、成本等。

LangChain

LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序，它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。

Langfuse

Langfuse是一个开源的LLM应用可观测性平台，用于追踪、评估和调试基于大语言模型的应用（如智能体、RAG系统）。

Dify

Dify是一个开源的LLM应用开发平台，提供可视化界面和API，支持快速构建基于大语言模型的AI应用。它集成了提示编排、知识库管理、RAG（检索增强生成）、Agent 编排等功能，并支持多种主流大模型。

RagFlow

RagFlow是一个专注于企业级RAG应用的开源框架或平台，强调对复杂文档（如PDF、Word、表格）的深度解析、语义切片与精准检索。