音视频课程学习助手

更新时间:
复制为 MD 格式

本实验中,您将学会使用阿里云百炼工作流构建音视频学习助手,并通过工作流加低代码的方式,让智能体具备识别音视频课程内容,总结音视频中的学习重点并生成学习报告的 AI 助手。

实验简介

本实验中,您将学会使用阿里云百炼工作流构建音视频学习助手,并通过工作流加低代码的方式,让智能体具备识别音视频课程内容,总结音视频中的学习重点并生成学习报告的 AI 助手。

实验室资源方式简介

进入实操前,请确保阿里云账号满足以下条件:

  • 个人账号资源

    • 使用您个人的云资源进行操作,资源归属于个人。

    • 所有实验操作将保留至您的账号,请谨慎操作。

    • 平台仅提供手册参考,不会对资源做任何操作。

    • 说明

      使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

  • 已通过实名认证且账户余额≥0元。

  • 本实验费用以实际使用的token量为准。以千问3-Ma为例,输入 0.0032元/千tokens,输出0.0128元/千tokens,实验资源消耗将从资源包中抵扣。

  • 实操结束后,您可以选择继续付费保留资源,但这将导致持续产生费用,否则请根据实验手册释放资源。

  • 实操结束后,无需对阿里云百炼进行注销。

开通高校实验资源包

  1. 进行学生认证

  2. 获取资源

    • 方式一:下单开通实验所需资源包

      点击购买资源包,承诺消费金额选择20元,有效期1个月,点击 立即购买

      重要

      如已购资源包,可跳过此步骤,无需重复下单!!

      image

    • 方式二:领取合作高校专属实验资源

实验步骤

  1. 登录阿里云百炼

    • 在阿里云官网搜索阿里云百炼进入控制台,或点击进入阿里云百炼控制台,点击【应用开发】tab

      image

    • 若之前未登录开通过阿里云百炼请按以下步骤操作,若已开通过百炼服务请跳过此步

      • 进入【应用开发】—【应用管理】,点击【立即登录】

        image

      • 阅读服务协议并点击【同意】

        image

  2. 创建应用

    • 点击【应用开发】——【应用管理】——【创建应用】

      image

    • 选择【工作流应用】,输入应用名称,点击【立即创建】

      image

    • 创建成功

      image

  3. 开始节点

    • 点击【添加变量】

      image

    • 变量名:file

      类型:File

  4. 条件判断节点

    • 拖入一个条件判断节点

      image

      重要

      如果直接拖动无法添加的话:

      • 把鼠标放在节点右侧的+号上

        image

      • 选择到相应节点

        image

      • 点击节点,添加成功并自动连线

        image

    • 连接开始节点及条件判断节点

      image

    • 点击条件判断节点,点击【添加条件组】

      image

    • 变量选择【开始】—【url】,

      image

    • 判断条件选择【等于】

      image

    • image

  5. 脚本节点

    • 拖入一个脚本节点

      image

    • 连接条件判断节点及脚本节点

      image

    • 点击脚本节点,删除input2

      image

    • input1的引用方式选择【引用】

      image

    • 变量选择【开始】—【url】

      image

      image

    • 编辑代码

      function main() {
        const ret = {
            "result": [params.input1]
        };
        return ret;
      }
    • 输出

      类型选择【Array<String>】

      image

  6. 变量处理节点

    • 拖入一个变量处理节点

      image

    • 连接条件判断节点及变量处理节点

      image

    • 输出模式选择【文本输出】

      image

    • 模板内容为【视频内容为空!】

      image

  7. MCP节点

    • 回到首页,点击【应用开发】—【密钥管理】—【创建API-KEY】

      image

    • 创建一个API-KEY

      image

    • API-KEY创建成功

      image

    • 拖入一个MCP节点,选择【Paraformer语音识别】服务

      image

    • 点击【Paraformer语音识别】服务的【立即开通】

      image

    • 选择到刚才创建好的API-KEY

      image

    • 选择【公共FC资源部署】

      5c73d687f2f078a1900161eef7df957c

    • 开通完成,勾选后点击【确定】

      image

    • 可以进行节点重命名

      image

    • 连接脚本节点及MCP节点

      image

    • 值选择【脚本1/result】

      image

  8. 大模型节点

    • 拖入一个大模型节点

      image

    • 连接MCP节点及大模型节点

      image

    • 模型选择【单次处理模式】

      image

    • 模型配置选择【千问3-Max-Preview】模型

      image

    • 提示词

      你是一个专业的学习助手智能体。你的任务是将一段由语音识别模型生成的原始上课对话文本,整理成一份结构清晰、语言简洁、重点突出的正式学习笔记。
      输出格式示例参考(可自行调整):
      课程标题
      
      一句话总结课堂内容
      
      一、知识框架名称
      一句话概括主题内容
      
      知识点一:
      知识点的详细讲解
      知识点的详细讲解
      
      知识点二:
      知识点的详细讲解
      知识点的详细讲解
      
      核心考点
      核心考点的总结
      核心考点的总结
      
      
      二、知识框架名称
      
      知识点一:
      知识点的详细讲解
      知识点的详细讲解
      
      知识点二:
      知识点的详细讲解
      知识点的详细讲解
      
      核心考点
      核心考点的总结
      核心考点的总结
      
      课堂总结
      总结课堂核心内容
      
      知识框架一的一句话总结
      知识框架二的一句话总结
    • 用户提示词

      会议对话内容:

      注意:输入/或者(CTRL+/)来插入变量

      image

      image

  9. 结束节点

    • 连接变量处理节点、大模型节点的输出到结束节点

      image

    • 点击结束节点,输出模式为【文本输出】

      image

    • 文本模板

      注意:输入/或者(CTRL+/)来插入变量

      image

  10. 测试

    • 完成工作流如下

      image

    • 点击【测试】

      image

    • 点击附件按钮

      image

    • 可见有3种附件上传方式,可以根据自己的音视频课程资源进行选择

      image

      • 1、本地上传图片

        image

      • 2、本地上传视频

        image

      • 3、上传视频连接(要是纯视频链接,网页链接不可以)

        image

        image

    • 附件上传完毕后,输入指令开始测试

      image

    • 测试结果

      image

      image

    • 如果您对工作流最终输出结果不满意,可对前面的工作流如节点设置、提示词等再进行调整 测试无误后可进行发布

  11. 实验资源释放

    实验结束后,阿里云百炼账号无需注销,无资源释放。

    需要注意,在阿里云百炼,模型训练部署等需要付费,请谨慎操作。模型体验、构建应用等需要消耗token,在测试前请先确认是否有免费额度。

关闭实验

  • 完成实验后,点击 结束实操

    image

  • 点击 取消 回到实验页面,点击 确定 退出实验界面,关闭页面结束实验

    说明

    阿里云百炼账号无需注销,无需资源释放,可直接关闭实验

    image