LLM节点说明

本文档是介绍LLM节点的创建使用说明。

节点界面

点击应用中心--流程编排--新建流程,点击大模型节点

image

节点说明

LLM节点为大模型节点,用于关联包括但不限于官方模型、SFT模型,旨在使用大模型的能力。

配置说明

大模型节点中可以选择官方、第三方或者当前用户自己的SFT模型,在选择下方输入Prompt区域。Prompt支持变量动态替换,可以利用整个流程内的变量进行替换。形如${xxx.yyy},执行时就会触发变量的替换,进而让大模型得到完整的Prompt。

输入变量的方法

(1)手工输入

根据变量类型的不同,从相应的结果中获取,形如${bizVars.abc},可以参考流程变量含义及取值方式说明

(2)联想提示

LLM节点连接了上级节点时,您可以在Prompt文本框界面上输入“/”拉起变量选择列表,直接选中变量即可,与手动输入的变量名具有同等效果。

image

(3)循环配置

当前大模型可以进行循环配置,具体的配置方法可参考循环属性说明