文档

LLM节点说明

更新时间:
一键部署

本文档是介绍LLM节点创建使用说明。

节点界面

点击应用中心--流程编排--新建流程,点击大模型节点。

image.png

节点说明

LLM节点为大模型节点,用于关联包括但不限于官方模型、SFT模型,旨在使用大模型能力。

配置页面

image.png

配置说明

大模型节点中可以选择官方、第三方或者当前用户自己SFT的模型,在选择下方是输入prompt的区域。prompt支持变量动态替换,可以利用整个流程内的变量进行替换。形如${xxx.yyy},执行时就会触发变量的替换,进而让大模型得到完整的prompt。

输入变量的方法

(1)手工输入

根据变量类型的不同,从相应的结果中获取,形如${bizVars.abc},可以参考流程变量含义及取值方式说明

(2)联想提示

在界面上输入/,会弹起提示,直接选中变量即可,选中后与手工输入一样。

image.png

  • 本页导读 (1)
文档反馈