阿里云百炼工作流集成视频理解最佳实践

本文介绍如何在阿里云百炼工作流中集成视频理解功能。

需求背景

用户可能会遇到需要使用阿里云百炼工作流(workflow)搭建智能体,并希望在其中某一环节引用视频理解API的情况。阿里云百炼工作流是一种将复杂任务拆解为多个子任务,从而提高工作流程可控性的流程式AI应用。用户可以通过拖拽节点的方式来创建自定义的任务流程。

前提条件

操作步骤

本文以创建一个视频理解工作流应用为例进行说明。

步骤一:创建函数(FC)

  1. 函数计算控制台创建事件函数。具体操作,请参见创建事件函数

    • 创建视频理解提交任务函数(建议函数名称:SubmitVideoAnalysisTask)。

    • 创建视频理解查询任务函数(建议函数名称:GetVideoAnalysisTask)。

说明
  • 运行环境:选择Python 3.12

  • 代码上传方式:可选择通过ZIP包上传代码,文件示例:FCVideoAnalysisTask.zip

image.png

image.png

  1. 安装函数依赖。

    • 方案一:执行以下命令:

      pip3 install alibabacloud_endpoint_util alibabacloud_tea_openapi alibabacloud_quanmiaolightapp20240801 -t .  
    • 方案二:以“层”的方式安装。相关文档,请参见创建自定义层

  2. 您可自行优化调整代码中的入参:比如prompt模板、modelId等。

    需要将代码中的AK、SKworkspaceId替换为实际值,以确保代码正常运行并返回正确的结果。

    image.png

步骤二:配置阿里云百炼工作流

  1. 创建任务型工作流: 访问应用管理页面,单击新增应用,选择工作流应用,单击创建任务型工作流,进入工作流配置页面。 image.png

  2. 将模板导入工作流。模板示例文件:全妙-视频理解-工作流模板.zipimage.png

  3. 修改部分节点配置:

    • 视频理解-提交异步任务:关联“SubmitVideoAnalysisTask”函数。

    • 视频理解-查询异步任务结果:关联“GetVideoAnalysisTask”函数。

    image.png

可选:发布工作流为组件

您可以将工作流应用发布为组件,以供其他智能体或工作流应用使用。具体操作,请参见发布为组件

image.png

image.png

可选:组件应用-串行

可在您的工作流中导入串行的视频理解组件。示例文件:视频理解-串行.zipimage

可选:组件应用-并行

可在您的工作流中导入并行的视频理解组件。示例文件:视频理解-并行.zip

image.png

常见问题

处理的视频支持多久时长?

目前支持处理的视频时长不超过3分钟。后续将提升该方案中可处理的视频时长,敬请关注。