LLM

定义

AI Studio大语言模型(LLM)节点是其核心功能之一,它允许您利用大语言模型的强大能力来处理用户的各种输入(文本、文件、图片),并提供有效的智能回应。

image

前置条件

创建AI Studio服务

应用场景

LLM节点能根据您提供的提示词处理广泛的任务类型,并在工作流的不同环节发挥关键作用。

  • 意图识别: 在客服场景中,识别并分类用户问题的意图,从而引导至不同的处理流程。

  • 文本生成: 作为内容生成的核心,根据主题和关键词自动生成文章或报告。

  • 内容分类: 在邮件处理中,自动将邮件分类为咨询、投诉或垃圾邮件等。

  • 文本转换: 实现文本内容的翻译,将用户提供的文本翻译成指定语言。

  • 代码生成: 辅助编程,根据用户需求生成业务代码或测试用例。

  • RAG(检索增强生成): 在知识库问答中,结合检索到的相关知识和用户问题,提供准确的回答。

  • 图片理解: 利用多模态模型的视觉能力,理解图像信息并进行问答。

通过选择合适的模型和编写精良的提示词,您可以在AI Studio中构建出强大、可靠的AI解决方案。

节点配置

点击开始后面的image添加LLM节点。

image

单击LLM节点,在节点面板添加模型。

image

配置步骤:

  • 选择模型: AI Studio 支持全球主流模型,包括阿里云的通义千问、OpenAI 的 GPT 系列、Google 的 Gemini 系列等。选择模型时需考虑其推理能力、成本、响应速度和上下文窗口等因素,根据您的场景需求和任务类型进行选择。

    • 温馨提示: 如果您是首次使用 AI Studio,在选择LLM节点模型之前,请务必先在插件模型供应商中完成模型配置。

  • 配置模型参数: 这些参数用于控制模型的生成结果,例如温度(Temperature)Top P最大标记(Max Tokens)和回复格式等。为了方便,系统提供了三套预设参数:创意平衡精确。如果您不熟悉这些参数,建议选择默认设置。如果应用需要图片分析能力,请选择具备视觉能力的多模态模型。

  • 填写上下文(可选): 上下文是为 LLM 提供的背景信息,通常用于填充知识检索的输出变量。

  • 编写提示词: LLM 节点提供了易于使用的提示词编排页面。根据您选择的是聊天模型(Chat model)还是补全模型(Completion model),提示词的编排结构会有所不同。如果选择聊天模型,您可以自定义系统提示词(SYSTEM)用户(USER)助手(ASSISTANT)三部分内容。

image

模型参数

模型的参数直接影响输出效果,不同模型的参数可能有所区别,下图为qwen-max的参数列表。

image

模型参数列表

主要的参数名词解释如下:

温度(Temperature): 通常取值范围为01,用于控制生成结果的随机性。 ○接近0: 结果更确定、重复性更高。 ○接近1: 结果更随机、多样性更强。 ●Top P: 控制生成结果的多样性。模型会根据概率从候选词中选择,确保累积概率不超过预设的阈值P。 ●存在惩罚(Presence Penalty): 用于减少重复生成同一实体或信息。通过对已生成内容施加惩罚,模型会倾向于生成新的或不同的内容。参数值越高,重复内容的生成可能性越低。 ●频率惩罚(Frequency Penalty): 对过于频繁出现的词或短语施加惩罚,降低其生成概率。参数值越高,对频繁出现的词或短语施加的惩罚越大,从而增加文本的词汇多样性。