LLM模型离线推理组件支持的LLM模型来源于PAI的快速开始中的部分LLM模型，将在线推理转为离线推理。
使用限制
仅支持DLC计算引擎。
可视化配置参数
您可以在Designer中，通过可视化的方式配置组件参数。
页签 | 参数 | 是否必选 | 描述 | 默认值 |
字段设置 | model_name | 是 | 模型名称。 | 无 |
推理结果保存目录 | 否 | 保存推理结果的OSS目录。如果为空，使用工作空间的默认路径。 | 无 | |
推理数据路径，支持OSS和MaxCompute | 否 | 推理数据路径。如果已经连接到其他输入组件，可不填。数据格式请参见示例。每个样本可自定义top_k、temperature等参数，默认使用参数设置中配置的参数值。 | 无 | |
模型OSS路径 | 否 | 模型输入的OSS路径，如果已经连接到其他输入组件，可不填。如果为空且未连接到其他输入组件，则使用模型名称对应的默认预训练模型。 | 无 | |
参数设置 | top_k | 是 | 模型从最可能的k个选项中随机选择一个。 | 1 |
top_p | 是 | 模型从累计概率大于或等于p的最小集合中随机选择一个。 | 0.8 | |
temperature | 是 | 控制生成文本随机性的参数。较高的温度值会产生更随机的输出，而较低的温度值则会使模型更倾向于选择最可能的单词。 | 0.95 | |
max_new_tokens | 是 | 生成的最大token数量。 | 2048 | |
system_prompt | 是 | 系统提示词，作用在整个模型推理过程中。 | Act like you are programmer with 5+ years of experience. | |
执行调优 | GPU | 否 | 选择用于计算的GPU的ECS实例。 | 无 |
最大运行时长（秒） | 否 | 算法运行的最长时间。 | 无 |
相关文档
关于Designer组件更详细的内容介绍，请参见Designer概述。
更多关于LLM模型的说明，请参见快速开始（QuickStart）。
反馈
- 本页导读 （1）
文档反馈