根据您提供的输入输出样例，Prompt反馈优化能够学习样例内的有效信息，自动生成符合您期望的Prompt。
效果展示
优化前Prompt | 优化后Prompt |
|
|
推理结果错误：
| 推理结果正确：
|
功能介绍
Prompt反馈优化功能将做以下工作：
将样例数据添加到Prompt中。
对prompt在评测数据上的结果（由推理模型生成）进行多轮自动化评估、反思和优化，总结生成内容提示。
相较于Prompt自动优化，由于Prompt反馈优化将用户提供的数据作为优化的评估标准，使得prompt在用户实际场景中的回复质量更高。
推理模型推荐选择通义千问-max。
百炼将自动选取样例数据集的部分数据添加到Prompt中，建议包含5~10条数据，且每种场景至少包含一条数据。
百炼将基于Pompt在评测数据集与推理模型上的表现，建议至少包含20条数据，数据越多，Prompt优化效果越好。
案例实践
案例背景
为了提高一家汽车论坛的内容管理效率，计划使用大模型进行文章的类型分类。分类标准如下：
下面汽车相关的文章属于下面哪一种类别：
"产品解析"，
"车商卖车"，
"经典怀旧"，
"质量投诉"，
"销量表现"，
"其他"。
最终的结果请按照{"type":"<类别结果>"}的json格式进行输出。当您把以上提示信息作为Prompt输入后，发现应用并不能准确地按照您的想法进行分类，比如以下这篇文章应该分类为“销售表现”：
经过一段时间的学习，您发现进行Prompt工程是最合适的选择。因此为了让应用更加准确地分类，您手动对典型文章进行了分类。以下为数据样例：
手动分类数据
百炼提供了Prompt反馈优化功能，您决定使用该功能，结合手动分类数据，生成符合您期望的应用Prompt。
操作步骤
在百炼的页面，单击新增优化任务。
步骤一：选择推理模型，百炼将在该模型上进行多轮Prompt评测。 |
|
步骤二：输入需要优化的初始Prompt。 只需要描述任务目标 | |
步骤三（可选）：样例选择，支持直接上传和从样例库选择两种方式。 样例数据将添加到优化后的Prompt中，样例数据集建议包含5~10条数据，且每种场景至少包含一条数据。 本次实践使用的样例数据为：sample.xlsx。 | |
步骤四：上传评测数据 评测数据将作为评估最优prompt的标准 评测数据集建议至少包含20条数据，数据越多，Prompt优化效果越好。 本次实践使用的评测数据为：evaluation.xlsx。 | |
步骤五：开始优化 |
优化后使用Prompt
支持将优化后的Prompt保存为Prompt模板或直接基于该Prompt创建智能体应用。
