阿里云大模型高级工程师ACP认证发布记录

更新时间:

本文介绍阿里云大模型工程师ACP认证的最新动态。

2025

V2.1.0 引入 Meta Prompting

发布时间:20250728

版本说明:通过引入“Meta Prompting”的介绍,指导学员如何利用大模型本身来系统性地迭代和优化提示词,包括定性指导和基于“参考答案”的自动化迭代,进一步加深学员对提示词工程的理解。

示例说明:

使用大模型优化提示词

量化评估提示词效果

image

image

V2.0.9 引入上下文工程框架

发布时间:20250724

版本说明:以上下文工程(Context Engineering)为核心方法论,将RAG、Prompt、Tool、Memory等主题整合成系统化的知识框架。帮助学员建立“上下文工程”的全局视野,深刻理解大模型应用开发的本质——为模型精准地构建和动态管理上下文信息。

有限的上下文窗口

上下文工程框架

image

image

V2.0.8 更新大模型应用安全合规内容

发布时间:20250627

版本说明:为帮助学员深入理解当下大模型应用面临的安全风险以及如何构建多层次的安全防护体系,引入阿里云AI安全护栏产品,并在百炼上启用有关防护能力,并强化了安全合规章节的内容。

示例说明:

针对大模型应用的多种攻击手段

AI 安全护栏防护场景

基于词库黑名单做文本合规检测

image

image

image

V2.0.7 更新2.4RAG自动化评测内容

发布时间:20250613

版本说明:为帮助学员深入理解RAG(检索增强生成)系统的质量评估与优化,本版本详细阐述如何构建和利用自动化评测体系,强调高质量上下文的关键作用,并指导学员打造卓越的评测运营体系,以持续提升答疑机器人的性能。

示例说明:

RAG自动化评测体系

上下文是RAG的生命线

打造卓越的评测运营体系

image

image

image

V2.0.6 更新2.5节意图空间与知识空间的内容

发布时间:20250526

版本说明:为帮助学员认识到知识工程的重要性,以及优化RAG(检索增强生成)系统的三个方向:知识工程、评测系统、工程和算法优化,本版本在优化RAG之前的文档准备阶段增加了意图空间与知识空间的内容讲解。

V2.0.5 部分图像弹出放大,课后小测验答案可折叠

发布时间:20250526

版本说明:为提供更好的学习体验,默认折叠课后小测验的答案,点击题目后可展示内容。

示例说明:

旧版

新版

默认折叠答案

image

点击题目展示答案

image

V2.0.4 增加入门环境准备的指引视频

发布时间:20250507

版本说明:为帮助不熟悉PythonPAI DSW Notebook的学员能够更快地上手,本版本在环境准备章节增加了视频,引导学员从 0 开始、一步一步地准备学习环境。

V2.0.3 完善模型部署资源的选型指引

发布时间:20250402

版本说明:原章节中对于阿里云百炼、函数计算、PAI-EAS、ACS/ACK以及ECS上部署大规模模型的差异描述不够清晰。本版本优化了相关内容,旨在帮助学员能够根据实际情况选择更适合的方式进行部署。

V2.0.2 增加 Reasoning Model 的使用技巧

发布时间:20250325

版本说明:为帮助学员更有效地使用推理模型(如Deepseek-R1、通义千问-QwQ)来提升答疑机器人的回答质量,本版本增加了关于如何撰写高质量提示词的指导。核心在于清晰地表达核心需求,并提供详尽且有用的背景信息。此外,我们还介绍了在复杂任务场景下,如何结合推理模型与通用模型各自的优势更好更快地完成任务。

示例说明:

修改点

旧版

新版

新增关于如何撰写高质量提示词的指导。

imageimage

新增推理模型与通用模型分工协作完成复杂任务。

image

V2.0.1 优化实践环境的安装方法

发布时间:20250320

版本说明:考虑到环境准备是实践的前提,环境安装难度降低和适用范围提升可以帮助学员更好完成后续操作。为此,本版本在手动安装基础上增加了自动安装环境的方法,同时不再限定单一镜像,并结合Python虚拟环境(venv)提升环境安装的适配性。

示例说明:

修改点

旧版

新版

新增自动安装脚本,可一键安装所需环境。

image

旧版扩展阅读中有conda虚拟环境配置说明,但缺少安装说明,且安装不稳定。新版通过 Python自带的venv进行虚拟环境管理,避免安装,直接配置管理。

image

image

新版取消了单一镜像的限定,并补充镜像选择指引。

image

image

V2.0.0 试题题库更新

发布时间:20250312

版本说明:原考试过于偏向概念考察,且第二章重构涉及较多内容变更,为此本次更新重构整体题库,优化知识点考核比例,重点增加场景应用类试题,考察学员在实际场景中的应用能力。

示例说明:

  • 知识点考核比例对比

    V1.0考核知识点占比

    V2.0考核知识点占比

    考核知识点

    试题比例

    考核知识点

    试题比例

    大模型应用开发

    16%

    大模型应用开发

    17%

    大模型提示词工程

    24%

    大模型提示词工程

    14%

    大模型检索增强

    24%

    大模型检索增强

    19%

    大模型微调

    16%

    大模型微调

    17%

    大模型伦理与安全

    8%

    Agent及多模态应用

    16%

    AI辅助多模态内容生产

    12%

    生产环境应用实践

    17%

  • 试题优化示例

    旧版

    新版

    在评测微调模型性能时,以下哪些是常用的评测指标?

    在进行微调模型性能评测时,选择合适的评测指标是至关重要的。假设某位 AI 工程师正在对一个大语言模型进行微调,以用于情感分析任务。他希望确保模型能够准确地对用户评论进行分类,从而提升在线商店的用户体验。在这个过程中,需要重点关注以下哪些常用的评测方法?

    1. 召回率

    2. 精确率

    3. F1分数

    4. 训练时间

    5. 生成速度

    6. batch size

    1. 测算情感分析的召回率(Recall)

    2. 分析情感分析的准确率(Accuracy)

    3. 在对比多个微调版本时,采取人工打标进行评测

    4. 评估微调的训练时间(Training Time)

    5. 微调时采用的学习率(Learning Rate)

    6. 微调时使用的批大小(Batch Size)

    正确答案:ABC

    旧版问题:题干设计过于简单,无背景描述,无场景限定;选项限定不足,在不同场景中可能有不同释义。

V1.2.2 重构第3章课程内容

发布时间:20250312

版本说明:重新设计原第3章过时内容。本次更新旨在帮助学员巩固所学知识,深入理解当前大模型技术的应用场景及发展趋势,激发其对人工智能领域持续探索的兴趣。

V1.2.1 新增章节:“2.9 大模型应用生产实践”

发布时间:20250310

版本说明:本次更新引入了全新的章节内容,旨在帮助学员理解将大模型应用发布至生产环境的关键要素,以及如何将大模型高效、低成本地部署到实际业务场景中,并为如何搭建稳定、安全的系统架构提供指导。原“2.7大模型RAG内容安全合规检查”节内容合并至本节。

V1.2.0 重构章节:“2.8 通过微调提升模型的准确度与效率”

发布时间:20250305

版本说明:由于微调环节相对复杂,需要理解相对较多的基础概念,本次重构补充关键知识点,并重新梳理微调实践,帮助学员深入理解什么是微调并积累更多实操经验。

示例说明:

修改点

旧版

新版

微调任务优化,从较抽象的NL2SQL任务调整为简单数学任务。

image

image

知识扩充,兼顾探究微调基本原理和不同任务上的微调方法。

image

实验流程改造为多次微调,补充微调时的评价标准,并根据每次微调的结果调整微调参数。

image

image

imageimage

V1.1.1 切换预装vLLM的镜像

发布时间:20250106

版本说明:为解决安装vLLM库时间过长,且安装过程中可能因网络问题导致安装失败,切换为默认预装vLLM的系统镜像。

示例说明:

image

2024

V1.1.0 重构第二章课程内容

发布时间:20241129

版本说明:

发布结合课程上线一个多月以来的问卷反馈和综合评估,决定重构第二章课程内容,提升内容质量。本次重构重点优化课程结构和内容标准,确保内容精炼连贯、不过多赘述,关键知识点释义清晰易理解、无遗漏,结构格式统一,提升阅读体验。

因内容扩充,原2.1开始构建新人答疑机器人扩展为2.1用大模型构建新人答疑机器人和2.2扩展答疑机器人的知识范围两个小节。其余课程序号顺延,部分小节名称微调。

示例说明:

修改点

旧版

新版

课程循序渐进,内容精炼连贯。

例如,避免一上来就讲RAG等陌生概念,不过多赘述。

image

image

补充关键知识点,避免知识跳跃,降低理解难度。

例如,在介绍RAG前,先介绍大模型如何工作,并进一步了解其知识范围的局限性,从而引出RAG的作用和实现方法,旧版讲述逻辑生硬。

image

imageimageimageimage

统一课程内容结构。

例如,优化小结格式和内容,做到通过小结能够理解本节学了什么,以及补充应用建议和扩展知识。

image

image

提升可读性。

指代不清、语句不通顺等。

在大模型Agent中,长期记忆对应着系统持久化的信息,如业务历史记录、知识库等,通常存储在外部向量数据库和文档库中,提供给Agent回答用户专业领域问题。

在大模型Agent中,长期记忆对应着系统持久化的信息,如业务历史记录、知识库等,通常存储在外部向量数据库和文档库中,Agent会利用长期记忆来回答用户私有知识或专业领域相关的问题。

V1.0.2 优化课程阅读体验

发布时间:20241028

版本说明:为提升阅读体验,重点优化第二章内容可读性,一方面适当补充关键描述,确保上下文连贯,另一方面减少不必要的模型输出和重复性陈述。调整第二章课程顺序,将原2.4节(微调)后置到2.7节,在完成大模型应用构建后进行微调优化,更符合学习曲线。

示例说明:

旧版

新版

image

image

V1.0.1 优化课程实操体验

发布时间:20241017

版本说明:

  • 提升实操体验:实操环境从ModelScope Notebook切换至PAI-DSW,学员可以通过领取免费CPU/GPU实例完成本课程全部章节的学习。

  • 优化课程内容:重点改进前言和小结的结构,突出关键知识点,重写难以理解的表述并减少赘述。

  • 优化API_KEY读取方式:精简代码并降低密钥泄露风险。

示例说明:

旧版

新版

image

image

实操环境效果如下:image

V1.0.0 优化实践环境的安装方法

发布时间:20241014

版本说明:课程第一版,通过项目的方式引入理论学习,并结合动手实践进一步促进理解、巩固学习,整体课程分为课程准备、构造大模型问答系统、借助大模型辅助内容生产三个章节,16个小节的内容。