高效对话的艺术 —— 提示词工程深度应用

更新时间:
复制为 MD 格式

本实验中,您将学会在阿里云百炼构建智能体应用,并通过提示词工程(Prompt),让智能体具备考试准备、划重点、自动出题等技能的学习助手。

实验任务:搭建一个支持考试划重点与自动出题的智能学习助手

一、实验目标

  • 本实验将通过在阿里云百炼构建智能体应用,并通过提示词工程(Prompt),让智能体能面向一门指定课程,完成一个可复用的学习助手原型。能基于授权资料自动抽取考试要点、生成结构化“知识卡片”、按难度与认知层级自动出题并给出判分与解析,且全程可追溯至资料片段。支持学生自测与个性化复习建议,实现从内容加工到评测闭环的提示词工程最佳实践。

  • 完成本实验后,学生应能够:

    • 在阿里云百炼平台构建并部署一个可交互的智能学习助手应用。

    • 熟练运用提示词实现考点提炼与结构化输出。

    • 利用该学习助手实现分层出题、判分与解析闭环。

    • 基于学习表现生成个性化复习反馈。

二、实验介绍

在期末或资格考试前,学生往往需要从成堆的讲义、教材与往年试题中快速提炼考点、组织复习路径并形成针对性的练习题与解析;传统做法高度依赖人工筛选与命题经验,效率低且覆盖不全面。在本实验中,将利用阿里云百炼平台构建一个大模型应用,结合检索增强生成(RAG)等技术的提示词工程(prompt engineering),构建具备考试准备、划重点、自动出题等功能的学习助手。

三、相关知识点

提示词工程的核心作用在于通过语言控制语言,即以结构化提示词引导模型生成目标输出。相关关键概念包括:

  • 提示词工程(Prompt Engineering):通过精确指令与上下文控制,引导大语言模型生成期望输出的技术。

  • 角色设定与约束性指令:通过“你是一位全能型学生学习助手”式角色定义,结合分步指令(如先提炼要点、再出题),提升输出的专业性与逻辑性。

  • 少样本示例(Few-Shot Learning):在提示词中提供“知识点→知识卡片”或“原文段落→考题”的配对示例,使模型快速掌握格式与难度要求。

  • 可追溯性与闭环设计:要求模型在生成题目和解析时标注引用来源,并基于答题表现动态生成复习建议,实现“学习-测试-反馈”的完整闭环。

四、实验环境配置

  1. 平台与工具:阿里云百炼平台(Bailian Studio)

  2. 硬件要求:联网计算机

  3. 软件环境:Web浏览器(建议Chrome)

  4. 资源文件:示例文档货币金融学 米什金(中文版第九版).pdf

  5. 账户设置:注册阿里云账号并完成高校师生认证;开通阿里云百炼应用开发权限

  6. 模型选择:千问-plus 或千问-plus-latest

五、实验内容与步骤

  1. 实验室资源方式简介

    进入实操前,请确保阿里云账号满足以下条件:

    • 个人账号资源

      • 使用您个人的云资源进行操作,资源归属于个人。

      • 所有实验操作将保留至您的账号,请谨慎操作。

      • 平台仅提供手册参考,不会对资源做任何操作。

    • 确保已完成云工开物300元代金券领取。

    • 已通过实名认证且账户余额≥0元。

    • 本实验费用以实际使用的token量为准,以千问-Plus为例,输入 0.0008元/千tokens,输出0.002元/千tokens。

    • 本实验产生的费用优先使用优惠券。如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。

    • 实操结束后,如通过云工开物代金券购买的产品,无需进行注销;如注销产品,代金券不会返还。

    • 新注册阿里云百炼的用户,千问系列模型提供模型的免费额度,不同模型的免费额度不同,请在使用前,先阅读产品文档确认模型的免费额度,或在使用前,登录阿里云百炼-模型广场-模型卡片详情,查看具体模型的免费额度。注意在使用过程中的token消耗。模型列表 只有开通阿里云百炼服务后才能体验模型的免费额度。

  2. 领取专属权益

    • 第一步:点击“进入实操”

      在开始实验之前,请先点击右侧屏幕的“进入实操”再进行后续操作

      image

    • 第二步:领取300元优惠券

      本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源,如未领取请先点击领取。(若已领取请跳过)

      image

      重要

      实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。

      学生认证

  3. 登录阿里云百炼

    • 在阿里云官网搜索阿里云百炼进入控制台,或点击进入阿里云百炼控制台,点击【应用开发】tab

      image

    • 若之前未登录开通过阿里云百炼请按以下步骤操作,若已开通过百炼服务请跳过此步

      • 进入【应用开发】—【应用管理】,点击【立即登录】

        image

      • 阅读服务协议并点击【同意】

        image

  4. 上传数据,构建知识索引

    • 导入数据

      • 本实验《货币金融学》课程为例点击下载示例文档:货币金融学 米什金(中文版第九版).pdf

      • 点击【应用开发】——【应用数据】,选择类目,选择数据类型为【文件】,点击【导入数据

        image

        说明
        1. 若【导入数据】按钮置灰,并提示请先新建类目,点击左侧类目管理的+号,新建一个类目

          image

        2. 类目这里可以选择默认类目,或选择自定义的新建类目

        image

      • 导入方式选择【本地上传】,选择【点击或拖拽上传文件】,上传刚才下载的示例文件,上传后点击【确认】

        image

      • 导入数据需要花费一定的时间,需要耐心等待数据转为“导入完成”的状态(通过手动点击刷新按钮)。

        image

    • 创建知识索引

      • 数据导入完成后,需要创建一个知识索引,在阿里云百炼的左侧导航栏中,点击【知识库】—【创建知识库】

        image

      • 输入知识库名称,知识库类型及使用场景请按情况选择,此处保持默认选项即可,点击【下一步】

        image

      • 数据来源有多种选择方式,此处可以点击【选择文件】按钮,在选择文件处,选到上一步上传知识库的类目,并勾选到该示例文件,点击【下一步】

        image

      • 相似度阈值设置为0.5,其他保持默认配置,点击【导入完成】

        image

      • 系统自动进行文档解析。文档解析需要一定时间,请您耐心等待,直至状态变更为“解析完成”状态,才能在后续的文档问答过程中被检索到。

        image

        image

  5. 创建应用

    • 点击【应用开发】——【应用管理】——【创建应用】

      image

    • 选择【智能体应用】,输入应用名称,点击【立即创建】

      image

    • 创建成功

      image

    • 选择模型,模型可选择:千问-plus 或 千问-plus-latest模型,可以在下拉列表中进行选择,若其中没有需要的模型,点击【更多模型】,在搜寻框输入搜索

      image

      image

  6. 知识库检索增强

    • 添加知识库,点击【知识】—【文档】,把创建的知识库添加进来

      image

    • 点击【知识—文档—调试】,在这设置知识库召回的规则。可以根据具体的需求做一个设置。也可以参照截图来设置。

      image

      点击【保存】

      image

      说明
      • 拼装策略:用于平衡知识库召回结果的全面性和性能,可选择按召回数量或按拼装长度

        按召回数量 可以满足对输入信息量有明确要求的场景。拼装长度 则能最大限度地利用输入空间。
      • 最大拼装长度:从知识库召回的文本切片会被拼装成连贯的文本供大模型参考,但存在字符数上限。超过该长度时,文本将被强制切割,超出部分将被丢弃。增大该值通常会召回更多和用户查询可能相关的内容,但也会增加每次问答的响应时延。

  7. 设置prompt

    • 使用prompt自动优化功能

      示例:

      你是一位全能型学生学习助手,致力于为学生提供全方位的学习支持。你的职责包括教材总结与问答、基于教材内容出题、作业辅导、优质资源推荐。

      现在需要明确学习助手的角色和技能,使用阿里云百炼提供的prompt自动优化功能来优化prompt。

      image

      优化完成后,可点击【立即使用】

      image

    • prompt调优

      在模型自动优化的prompt基础上,根据测试结果,对prompt进行调优。如更明确的说明,增加示例,增加案例等,来约束模型输出结果。

      如,希望技能2的输出结果,先生成题目,最后再生成所有题目的答案。题目类型仅包括单选题和多选题

      原 prompt—技能2:

      ### 技能2: 基于教材内容出题
      - 根据教材内容设计各类试题,包括但不限于选择题、填空题、简答题等。
      - 确保试题覆盖教材中的关键知识点,并具有一定的难度梯度。
      - 提供详细的答案解析,帮助学生理解和掌握解题方法。
      

      测试结果:

      image

      修改后 prompt—技能2:

      ### 技能2:基于知识库里的教材内容出题 
      - 根据知识库中的教材的知识点,设计练习题目,包括题目,答案和答案解析。
      - 题型包括:单选题、多选题。
      - 题目应覆盖不同难度级别,以满足不同程度学生的需求。 
      - 输出要求:先展示题目,在所有题目完成后,在最后给出以上题目的答案和答案解析,题目和答案之间通过下划线分隔。如题目1、题目2、 和选项全部展示结束后,输出下划线,再给出每道题目的答案和答案解析。参考示例。务必参照该输出格式。最后才展示答案。
      
      #### 示例:
      题目1:一般来说,一国国际收支出现巨额顺差会使其()
      A.货币疲软   B. 货币坚挺   C. 通货紧缩   D. 利率下跌
      题目2:我国目前的金融体系采取的是下面哪种模式?
      A. 分业经营、分业监管
      B. 分业经营、混业监管
      C. 混业经营、分业监管
      D. 混业经营、混业监管
      
      -----答案------
      题目1答案:B
      答案解析:国际收支巨额顺差会使外汇供过于求,使本国货币坚挺,本币汇率升值。
      题目2答案:A
      答案解析:我国金融体系从混业经营、混业监管走向了分业经营、分业监管。中国银监会主要负责银行、信托业的监管;中国证监会主要负责证券、期货市场和投资基金的监管;中国保监会主要负责保险市场和保险业的监管。

      修改后测试结果:

      image

      Prompt提示词参考配置

      Prompt提示词—示例:

      ##角色 
      你是一位全能型学生学习助手,专注于为学生提供全面的学习支持。你的主要职责包括但不限于:教材总结与问答、基于教材内容出题、作业辅导、优质资源推荐、备考指导以及学习进度管理。目标是帮助每位学生找到最适合自己的个性化学习路径,从而提高他们的学习效率和成绩。
      
       ## 技能 
      ## 技能1:教材总结与问答 
      - 对指定的教材或学习材料进行精炼总结。
       - 回答学生关于教材内容的具体问题,确保答案准确且易于理解。 
      - 仅限于对金融学知识库范围内教材做总结分析和问答
      
      ## 技能2:基于知识库里的教材内容出题 
      - 根据知识库中的教材的知识点,设计练习题目,包括题目,答案和答案解析。
      - 题型包括:单选择题、多选题。
      - 题目应覆盖不同难度级别,以满足不同程度学生的需求。 
      - 输出要求:先展示题目,在所有题目完成后,在最后给出以上题目的答案和答案解析,题目和答案之间通过下划线分隔。如题目1、题目2、 和选项全部展示结束后,输出下划线,再给出每道题目的答案和答案解析。参考示例。务必参照该输出格式。最后才展示答案。
      
      ### 示例:
      题目1:一般来说,一国国际收支出现巨额顺差会使其()
      A.货币疲软   B. 货币坚挺   C. 通货紧缩   D. 利率下跌
      题目2:我国目前的金融体系采取的是下面哪种模式?
      A. 分业经营、分业监管
      B. 分业经营、混业监管
      C. 混业经营、分业监管
      D. 混业经营、混业监管
      
      -----答案------
      题目1答案:B
      答案解析:国际收支巨额顺差会使外汇供过于求,使本国货币坚挺,本币汇率升值。
      题目2答案:A
      答案解析:我国金融体系从混业经营、混业监管走向了分业经营、分业监管。中国银监会主要负责银行、信托业的监管;中国证监会主要负责证券、期货市场和投资基金的监管;中国保监会主要负责保险市场和保险业的监管。
      
      
      ## 技能3:作业辅导
       - 针对学生提交的具体作业题目,提供详细的解答步骤、关键知识点解析及拓展学习建议。
       - 对于较为复杂的题目,引导学生运用批判性思维和问题解决策略,培养其独立思考的能力。
      
       ## 技能4:学习资料推荐 
      - 根据学生的学科需求、个人学习风格及其当前所处的学习阶段,精准匹配并推荐相应的教材、参考书籍、在线课程、学术论文、教育视频等多元化的学习资源。
       - 定期更新资源库,保证推荐内容的新鲜度和权威性。 
      
      
      ## 限制条件
       - 在推荐任何学习资料时,必须遵守版权法规,确保所有推荐的内容都是合法合规的。
       - 保持中立立场,不偏向任何特定的教育资源供应商,始终以促进学生最佳学习体验为目标。 
      - 严格保护每一位学生的隐私权,不得泄露其个人信息或学习数据,遵循相关法律法规要求。
       - 在整个服务过程中,坚持教育伦理原则,反对任何形式的作弊行为,鼓励诚实守信、勤奋好学的态度。
      
      请注意,在执行上述所有任务时,你所提供的信息和服务都应当严格限制在指定的金融学知识库范围内,不得引用外部资料或超出给定文档的内容来生成答案。
      
      
      # 知识库
      请记住以下材料,他们可能对回答问题有帮助。
      ${documents}
  8. 结果测试

    需注意体验窗为测试草稿版本,如未发布,可在草稿版中进行测试。如已发布需测试发布版本,需要切换到发布版。

    image

    • 技能1:教材知识问答

      提问:总结“什么是货币”这一章节的主要内容

      image

    • 技能2:根据知识库教材范围出题

      提问:根据“什么是货币”这一章节,生成3道测试题目

      image

    • 技能3:作业辅导

      提问:一般而言,要求作为货币的商品具有如下特征

      A. 金属的一种

      B. 价值比较高

      C. 易于分割

      D. 易于保存

      E. 便于携带

      image

    • 技能4:资料推荐

      提问:我目前在学习货币金融学,可以推荐几本辅导书籍吗?

      image

  9. 智能体发布

    • 在测试结束之后,可以点击右上角发布按钮,将智能体发布。点击右上角【发布】

      image

    • 可对该智能体进行版本描述,确认无误后点击【确认发布

      image

    • 发布后可查看发布渠道

      image

    • 发布后,可以在发布渠道中查看智能体不同的发布渠道,目前支持API调用,在钉钉机器人、微信公众号等渠道。现在就可以在这些渠道中将这个写好的应用配置上去,分享给他人使用啦

      image

    说明

    需注意,体验窗内为测试草稿版本,后续如需更新修改已发布版本,需在【版本管理】处切换到发布版

    image

    image

  10. 实验资源释放

    实验结束后,阿里云百炼账号无需注销,无资源释放。

    需要注意,在阿里云百炼,模型训练部署等需要付费,请谨慎操作。模型体验、构建应用等需要消耗token,在测试前请先确认是否有免费额度。

六、结果与验证

  • 实验的预期输出包括:生成一个可运行的学习助手智能体,能自动抽取课程资料中的考试要点,输出结构化知识卡片,并按难度与认知层级生成含判分与解析的考题。

  • 验证方法包括:对比不同提示策略下生成内容的信息完整性和格式规范性,抽检题目与解析的事实准确性及是否可追溯至原文片段,评估自测反馈的合理性,确定最优方案。

  • 此外,学习者还需要核验生成的知识点和试题是否忠实于原始资料,避免遗漏关键内容或产生事实性错误,确保学习助手的可靠性与教学适用性。

七、拓展与思考

  • 不同角色设定(如“资深教师” vs “学霸同学”)对出题风格与难度把握的边际影响如何?

  • “学生自测—生成错题—推荐复习”闭环能否显著提升学习效率?

  • 如何将本实验的要点抽取与出题框架迁移至企业培训、资格考试等知识类场景?

  • 针对模型虚构知识点或错误引用原文的问题,有哪些有效的校验与防范机制?

八、常见问题

学习助手智能体部署与提示词交互的常见问题与解决方案表:

常见问题

解决方案

知识抽取不完整或偏离重点

优化分块,用精准Prompt提升提取质量

生成题目与认知层级不匹配

用分层示例和模板约束出题逻辑

题目解析或判分逻辑错误,存在“幻觉”

强制引用原文,增加核查机制防幻觉

个性化复习建议流于形式,缺乏针对性

关联错题生成具体可执行的复习动作

九、实验报告要求

基于实验学生应提交完整的实验报告,要求包含以下内容:

  • 实验目的与任务描述;

  • 实验环境配置截图;

  • 三版以上Prompt与生成结果对比;

  • 对“七、拓展与思考”问题的回答;

  • 实验总结与个人反思。

十、关闭实验

  • 完成实验后,点击 结束实操

    image

  • 点击 取消 回到实验页面,点击 确定 退出实验界面,关闭页面结束实验

    image