使用Dify快速构建AI问答助手

克隆代码仓库。通过Git命令克隆对应的Dify代码仓库。

git clone https://github.com/langgenius/dify-docs.git

语料整理。为了方便语料后续的向量化处理，可以通过以下Python代码对已获取的Dify代码仓库中的.md文件进行合并整理。

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
import os


def merge_markdown_files_from_directory(root_dir, output_file):
    """
    merge_markdown_files_from_directory 函数
      1.功能：合并指定目录下所有.md文件的内容到一个输出文件中。
      2.参数：
        root_dir：指定的根目录路径。
        output_file：输出文件的路径。
      3.实现步骤：
        使用 os.walk 遍历 root_dir 目录及其子目录。
        检查每个文件是否以 .md 结尾，如果是，则将其路径添加到 markdown_files 列表中。
        打开 output_file 并逐个读取 markdown_files 中的每个文件内容，将其写入 output_file。
    """
    markdown_files = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.md'):
                markdown_files.append(os.path.join(root, file))

    with open(output_file, 'w', encoding='utf-8') as outfile:
        for file_path in markdown_files:
            with open(file_path, 'r', encoding='utf-8') as infile:
                outfile.write(infile.read())
                # outfile.write('\n\n')

               
def process_and_write_markdown(file_path: str, headers_to_split_on: list, chunk_size: int, chunk_overlap: int, output_file: str):
    """
    process_and_write_markdown 函数
      1.功能：
        处理单个 Markdown 文件内容，根据指定的头部和分块规则拆分文本，并将处理结果写入新文件。
      2.参数：
        file_path：输入的 Markdown 文件路径。
        headers_to_split_on：一个列表，包含头部级别的元组，如 [("#", "Header 1"), ("##", "Header 2")]。
        chunk_size：每个文本块的最大长度。
        chunk_overlap：文本块之间的重叠长度。
        output_file：输出文件的路径。
      3.实现步骤：
        读取 file_path 中的 Markdown 文件内容。
        创建 MarkdownHeaderTextSplitter 对象，根据 headers_to_split_on 拆分 Markdown 内容。
        创建 RecursiveCharacterTextSplitter 对象，根据 chunk_size 和 chunk_overlap 进一步拆分文本。
        打开 output_file，并将每个拆分后的文本块的元数据和内容写入文件。
    """
    try:
        # 读取 file_path 中的 Markdown 文件内容。
        with open(file_path, "r", encoding="utf-8") as doc:
            markdown_content = doc.read()

        # 创建 MarkdownHeaderTextSplitter 对象，根据 headers_to_split_on 拆分 Markdown 内容。
        splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on, strip_headers=True)
        md_splits = splitter.split_text(markdown_content)

        # 创建 RecursiveCharacterTextSplitter 对象，根据 chunk_size 和 chunk_overlap 进一步拆分文本。
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
        splits = text_splitter.split_documents(md_splits)

        # 打开 output_file，并将每个拆分后的文本块的元数据和内容写入文件。
        with open(output_file, "w") as f:
            for line in splits:
                f.write(str(line.metadata))
                f.write("\n")
                f.write(line.page_content)
                f.write("\n\n\n\n")

    except FileNotFoundError:
        raise FileNotFoundError(f"The file {file_path} does not exist.")


# 示例用法
if __name__ == "__main__":
    """
     1.设置参数：
      root_directory：指定的根目录路径。
      merged_file_path：合并后的 Markdown 文件路径。
      output_file：最终处理后的输出文件路径。
      headers_to_split_on：头部级别列表。
      chunk_size 和 chunk_overlap：文本块大小和重叠长度。
    2.执行步骤：
      调用 merge_markdown_files_from_directory 合并所有 .md 文件到 merged_file_path。
      调用 process_and_write_markdown 处理合并后的文件，并将结果写入 output_file。
      通过这些步骤，整个脚本实现了从多个 Markdown 文件的合并到最终处理和输出的过程。
    """
    
    # 待处理的文件夹路径
    root_directory = 'path/to/dify-docs/zh_CN'
    # 合并后的文件路径
    merged_file_path = './merged_markdown.md'
    # 清洗后的文件路径
    output_file = './dify_doc.md'
    
    merge_markdown_files_from_directory(root_directory, merged_file_path)
    headers_to_split_on = [
        ("#", "Header 1"),
        ("##", "Header 2"),
        ("###", "Header 3"),
    ]
    chunk_size = 500
    chunk_overlap = 50
    process_and_write_markdown(merged_file_path, headers_to_split_on, chunk_size, chunk_overlap, output_file)

将整理好的语料文件dify_doc.md上传至知识库。