基于版本对比、调试预览、用户反馈、优质评测数据，持续优化应用质量
应用优化支持多版本效果对比、基于调试结果与反馈优化 Prompt，以及基于优质评测数据优化 Prompt。本文介绍如何基于调试结果和人工反馈生成、审查并采纳优化后的 Prompt。
使用前准备
开始前，建议确认已创建应用并发布成功。同时准备能够暴露应用问题的测试问题，例如回答不完整、语气不符合预期、未遵循格式要求或存在合规风险的场景。
进入应用优化
访问应用优化页面，点击选择需要优化的应用，发起应用优化任务。
多版本对比优化
检查并完善当前 Prompt
在左侧提示词优化区域检查应用当前 Prompt，确认角色定位、任务目标、回答规则、边界条件和输出格式等基础信息完整。如需修改 Prompt，可直接在编辑区调整。
发起版本对比
点击对比模式，打开版本对比调试弹窗。弹窗默认展示一组基准组和一组对照组，最多支持添加两组对照组。基准组与对照组的原始配置与当前应用草稿态配置一致，可点击右上角设置按钮查看基准组 Prompt、调整对照组 Prompt。
版本对比调试
调整完成后，输入问题并发起调试任务，基准组与对照组会分别产出回复内容，可查看不同 Prompt 版本的回复差异。支持重复发起多轮调试，也可随时修改配置信息后继续调试。
配置项采纳
确认最优版本的回复内容后，点击对应版本上的采纳当前组的配置项按钮，系统会将该组 Prompt 写入提示词编辑区。
说明采纳仅更新当前编辑中的 Prompt，不会自动发布应用。采纳后仍可继续人工修改，或重新发起对比调试。
调试&反馈优化
发起调试对话
在右侧调试窗口输入测试问题并发送，查看应用回答。建议优先测试真实业务中容易出现问题的场景，例如：
- 回答遗漏规则、条件或例外情况。
- 回答语气生硬，不符合应用人设。
- 未按指定格式输出，内容冗长或结构混乱。
- 未遵循知识库内容，出现无依据回答。
- 缺少安全、合规或业务边界约束。
可以连续发起多轮对话，从不同角度验证同一 Prompt 的表现。
选择用于优化的调试结果
根据问题范围选择一条或多条调试结果：
- 选择一条结果：适合定位明确、可由一个案例说明的问题。优化窗口中显示「当轮调试结果」。
- 选择多条结果：适合多次出现或需要综合判断的问题。进入批量选择模式后，选择具有代表性的调试结果，优化窗口中显示「已选调试结果（N 条）」。
重要建议选择问题清晰且具有代表性的结果。多条结果最好围绕同一优化目标，避免互相冲突的反馈降低优化结果的可执行性。
输入人工反馈
点击根据调试结果优化 Prompt按钮，打开根据调试结果优化 Prompt窗口。
在人工评估的反馈中描述应用回答存在的问题和期望的改进方向。反馈应尽量具体，说明「哪里有问题」和「希望如何调整」。人工反馈用于补充调试对话中无法直接体现的业务要求。若选择了多条调试结果，可以在一段反馈中概括它们的共性问题和统一优化目标。
生成并查看优化结果
点击开始优化，系统将结合以下内容分析问题并生成新的 Prompt：
- 应用当前 Prompt。
- 当轮或已选中的调试对话。
- 人工评估的反馈。
生成完成后，在弹窗中查看优化结果、当前 Prompt 与智能优化结果的对比，并决定是否采纳。
采纳优化结果
确认优化后的 Prompt 符合预期后，点击采纳，系统会将优化结果写入提示词编辑区。
说明采纳仅更新当前编辑中的 Prompt，不会自动发布应用。采纳后仍可继续人工修改，或重新选择调试结果再次优化。
基于评测集优化
当已经沉淀了一批高质量问题、参考答案或历史回答时，可直接使用评测集创建智能优化任务。
创建优化任务
在调试优化页面点击智能优化，选择基于评测集优化 Prompt，打开基于评测集优化弹窗。
选择评测集和具体数据
- 选择参与优化的评测集及其版本。必要时可点击查看详情，确认字段结构、数据内容和版本是否正确。
- 在数据列表中勾选参与本次优化的条目。列表支持分页选择，并显示已选数据数量。如选择有误，可取消选择或重新选择评测集。
重要优先选择已清洗且能够体现目标问题的数据。若评测集中同时包含多个业务目标，建议拆分为不同任务，避免生成的 Prompt 约束过多或相互冲突。建议同时包含：
- 能体现当前 Prompt 缺陷的典型样本。
- 能代表正常能力的样本，用于避免优化后出现能力退化。
- 必要的边界样本，用于补充异常输入、安全或合规约束。
配置字段映射
将评测集字段映射到应用字段：
| 应用字段 | 是否必需 | 说明 |
|---|---|---|
| 应用输入 | 必需 | 映射用户问题、请求或其他应用输入字段。 |
| 应用输出 | 可选 | 映射应用实际回答、参考答案或用于判断目标输出的字段。 |
| 轨迹 | 可选 | 评测集包含调用链、步骤或轨迹信息时配置。 |
警告映射前请抽查数据，避免对应错误。字段映射错误会直接影响系统对问题模式的判断。
开始优化
确认评测集版本、数据范围和字段映射后，点击开始优化。系统将创建智能优化任务，并进入智能优化任务列表。
查看优化结果并一键采纳
进入智能优化任务页面查看优化任务进度。任务完成后，点击智能优化报告查看优化结果。确认结果符合预期后，点击采纳该优化版本，系统会将优化结果写入提示词编辑区。
说明采纳仅更新当前编辑中的 Prompt，不会自动发布应用。采纳后仍可继续人工修改，或重新选择调试结果再次优化。
基于评测任务优化
当批量评测已经完成，可基于评测任务定向选择低分或失败样本进行优化。与直接使用评测集相比，此方式能够利用已经产生的评测结果定位共性问题。
创建优化任务
在调试优化页面点击智能优化，选择基于评测任务优化 Prompt，打开基于评测任务优化弹窗。
选择评测任务和具体数据
- 选择一个状态为已完成的评测任务。必要时可点击查看任务详情，确认任务对应的应用版本、评测数据和评估器配置符合本次优化目标。
- 在数据列表中勾选参与本次优化的条目。列表支持分页选择，并显示已选数据数量。如选择有误，可取消选择或重新选择评测任务。
重要建议优先选择具有代表性的失败或低分样本，并保留少量高分样本作为正向参照。不要仅依据单个异常样本修改全局 Prompt。若失败原因来自知识缺失、工具异常或模型能力限制，应先处理对应问题，而不是只修改 Prompt。
配置字段映射
将评测任务字段映射到应用字段：
| 应用字段 | 是否必需 | 说明 |
|---|---|---|
| 应用输入 | 必需 | 映射用户问题、请求或其他应用输入字段。 |
| 应用输出 | 可选 | 映射应用实际回答、参考答案或用于判断目标输出的字段。 |
| 轨迹 | 可选 | 评测任务包含调用链、步骤或轨迹信息时配置。 |
警告映射前请抽查数据，避免对应错误。字段映射错误会直接影响系统对问题模式的判断。
开始优化
确认评测任务、数据范围和字段映射后，点击开始优化。系统将创建智能优化任务，并进入智能优化任务列表。
查看优化结果并一键采纳
进入智能优化任务页面查看优化任务进度。任务完成后，点击智能优化报告查看优化结果。确认结果符合预期后，点击采纳该优化版本，系统会将优化结果写入提示词编辑区。
说明采纳仅更新当前编辑中的 Prompt，不会自动发布应用。采纳后仍可继续人工修改，或重新选择调试结果再次优化。
验证并发布
采纳优化结果后，建议重新发起调试，并同时覆盖以下场景：
- 原问题场景：确认问题已得到解决。
- 正常场景：确认原有能力没有退化。
- 边界场景：确认异常输入、信息不足或冲突指令能够得到合理处理。
确认结果符合预期后，点击发布，完成应用版本更新。
优化建议
- 一次聚焦一个主要问题：将内容完整性、语气、格式、合规等问题分批优化，更容易判断改动效果。
- 使用真实且有代表性的对话：优先将线上高频问题、评测失败样本整理为调试问题，或使用能够稳定复现问题的测试问题。
- 反馈使用明确约束：相比「回答得更好」，建议写明必须包含的内容、禁止出现的行为和期望的输出形式。
- 先采纳、再验证、后发布：不要仅根据优化后的文本判断效果，应通过调试验证实际回答质量。
- 保留人工复核：智能优化可能无法理解隐含业务规则，涉及知识口径、权限、安全与合规要求时应重点检查。
常见问题
采纳优化结果后，应用会立即生效吗？
不会。采纳操作仅将优化后的内容写入当前 Prompt，仍需完成调试验证并点击发布，新版本才会正式生效。
应该选择一条还是多条调试结果？
单一、明确的问题可选择一条结果；若同类问题在多个问题中重复出现，可选择多条结果帮助系统识别共性。多条结果应尽量围绕同一优化目标。
如何填写高质量的人工反馈？
建议按照「问题现象 + 具体缺失或错误 + 期望行为」的方式填写。例如：「回答只说明了一般退款规则，遗漏家电类目例外；请完整列出一般规则、适用条件和特殊品类例外。」
优化后还需要重新调试吗？
需要。Prompt 改动可能影响其他回答场景。建议同时验证原问题、正常流程和边界输入，确认没有引入新的问题后再发布。