知识型视频智能问答解决方案

1.1 背景

知识型视频（如在线课程、学术讲座、技术培训等）以系统化传递知识为核心，通常具有内容密度高、语音主导、时长较长（常超30分钟）等特点。用户在长视频中定位特定知识点面临四大核心挑战：

• 导航缺失：缺乏细粒度目录，用户只能手动拖拽进度条低效查找。

• 检索浅层：现有搜索仅限标题/简介，无法深入视频内容进行语义检索与精准定位。

• 闭环断裂：问答结果缺乏视频片段回溯，用户难以验证与深化理解。

• 工程瓶颈：大模型受上下文窗口限制，机械拆分视频易割裂语义，损害问答准确性。

LangStudio 视频知识库通过 高精度 ASR 转录、语义切片、多模态向量检索与大模型问答的深度协同，实现“提问即定位，答案可回溯”，构建“看 → 问 → 定 → 懂”的完整知识获取闭环。

1.2 适用场景

2.1 架构图

2.2 方案优势

• ASR 更准：高精度多语种语音转录

  • 基于 QWEN3-ASR 语音识别模型，支持多语种识别

  • 提供稳定、高质量的语音转文字能力

• 检索更精：语义 + 关键词混合检索

  • 多模态 Embedding：支持 DashScope 多模态 Embedding 及 PAI-EAS 自定义服务，生成高质量语义向量

  • 混合检索：默认开启 Dense + BM25 Sparse 双路检索，支持 RRF （Reciprocal Rank Fusion）与加权融合排序，兼顾语义相似性和关键词匹配

  • 多存储引擎：支持 Elasticsearch 和 Milvus 两种向量存储后端，可根据业务规模灵活选择

• 问答更优：Rerank 重排 + Query Rewrite 改写

  • Rerank 重排：对召回的视频片段进行二次重排，确保 Top-K 结果与用户意图高度匹配。支持 DashScope 、PAI-EAS 及阿里云 OpenSearch AI 搜索开放平台等多种来源的Rerank模型

  • Query Rewrite 改写：基于多轮对话上下文，将模糊、指代性或省略性提问改写为完整检索查询（如将"怎么到那里？"改写为"怎么到撒哈拉沙漠？"），解决上下文丢失问题

  • 相似度阈值过滤：支持配置相似度阈值，自动过滤低相关性片段，避免噪声内容影响回答质量

• 溯源更准：时间戳级精准定位

  • 每个切片携带精确时间元数据（chunk_start、chunk_end、chunk_seq），检索结果可直接关联到具体时间区间

  • 一键跳转到对应讲解片段，实现"提问 → 检索 → 定位 → 回看"的完整闭环，降低知识验证成本

3.1 创建知识库 & 上传视频文件

1. 创建视频类型的知识库。关键参数配置如下，其他参见知识库管理。

   • 知识库类型：选择视频。

   • 切分方式：建议选择语音语义切片，会对视频语音进行 ASR，提取为切片文本内容。

     说明

     默认切片仅根据视频内容切片，忽略语音内容。

2. 导入文档。进入知识库，切换到视频页签，单击上传。支持从本地上传视频到知识库的数据源 OSS 路径。

3. 切换画廊视图/表格视图查看数据源 OSS 目录里的视频源信息。

3.2 更新文件索引 & 查看处理结果

1. 上传完数据后单击更新索引，配置更新索引任务的计算资源和专有网络。

   说明

   请确保选择的VPC网络与知识库的Embedding服务和向量数据库服务的VPC网络连通，建议使用相同的VPC以简化配置。

2. 单击操作记录查看索引任务的执行详情。

   • 单击目标任务操作列的查看任务，查看工作流任务日志中的Job URL（跳转查看索引更新的 DLC 任务）。

   • 若任务失败，在 DLC 任务日志中定位具体的报错原因。

   • 更新成功后单击查看任务结果，可以看到本次任务的更新文档/chunk 统计。

3. 知识库索引更新成功后，视频文件状态从【未索引】更新为【已索引】。单击具体视频文件，可查看视频切片和转录文稿。单击视频切片，可启用或屏蔽该切片在检索中的生效状态。

3.3 元数据管理 & 索引自动更新

3.4 切片召回测试

在知识库召回测试页面，提出需要检索的问题，系统会返回与问题最相关的若干个文本片段。

左侧检索设置里可以配置本次召回测试的参数情况，通常选择检索模式为混合检索，并开启结果重排。

3.5 搭建视频智能问答工作流

# 系统提示词模板 / 引用角标模板

你是一个乐于助人的助手。
1. 请结合用户提供的上下文信息来回答用户的问题。如果上下文信息不足无法回答，则如实告知用户，不要使用模型本身的知识回答。
2. 检测用户输入的语言，并用相同的语言回答。

引用与来源输出规范（必须遵守）
1. 若回答参考了用户提供的上下文信息，必须在对应句末添加角标引用，格式为 [1] [2]。
2. 角标编号在全文中按首次出现顺序连续递增；同一句可出现多个来源：…[1][3]。
3. 回答末尾必须输出 “来源” 小节，逐条列出每个角标对应的来源条目。每个条目需要换行展示，否则过于拥挤。
4. 来源条目格式：
[n] 视频名 — 视频来源链接
5. 禁止编造来源：未在提供的上下文中出现的信息，不得给出引用角标。

# 用户提示词 jinja2模板

## 以下是上下文信息：
{% for item in context_docs %}
序号：{{ loop.index }}
内容：{{ item.content }}
视频名：{{ item.metadata.file_name}}
来源：{{ item.metadata.chunk_uri }}
{% endfor %}

## 用户的问题是：{{ query }}