基于PolarDB IMCI构建检索增强生成RAG系统

1. 上传文档数据

   说明

   如需批量上传并解析文档至数据库，可以采用多次上传的方式实现。以下示例仅展示单条文档的解析过程。

   上传文档至数据库存储的SQL语句如下：

   /*polar4ai*/UPLOAD FILE docfile WITH (
       file_id = 'Polar4AI',
       file_type = '.docx',
       src_file_location = 'https://xxx.aliyuncs.com/Polar4AI-Introduction.docx',
       dest_file_name = 'Polar4AI-Introduction',
       metadata = '{}',
       overwritten = 1
   );

   重要

   • src_file_location：URL地址替换为您实际的存储的文档地址。

   • file_type：目前仅支持Microsoft Word.docx格式。

   WITH()中的参数说明如下：

   参数	说明	示例值
   file_id	文件主键（不可重复）。	'Polar4AI'
   file_type	文件类型。	'.docx'
   src_file_location	文件URL地址。	'https://xxx.aliyuncs.com/Polar4AI-Introduction.docx'
   dest_file_name	目标文件名（文章名称可重复，暂不支持存储路径/），支持自定义设置名称。	'Polar4AI-Introduction'
   metadata	元数据，暂时保留。 说明 后续会扩展，暂时无需关注。	'{}'

2. 创建文档元数据表

   在数据库中创建元数据表SQL语句如下：

   CREATE TABLE file_id_list_rag (
       file_id varchar(256) PRIMARY KEY
   );

   更新元数据表SQL语句如下：

   INSERT INTO file_id_list_rag(file_id) VALUES ('Polar4AI');

   文档元数据表中参数说明如下：

   参数	说明	示例值
   file_id	UPLOAD FILE中指定的文件主键。	'Polar4AI'

文档切片和向量化

1. 创建临时表

   存储文本转向量模型生成的切片和向量的临时表使用固定的参数名称和类型，SQL语句如下：

   说明

   文本向量化后生成的临时表由于不具备列存索引特性，无法直接利用列存索引实现加速功能。因此，在实际业务处理中，需要将文本数据构建至具有列存索引功能的表中，以达到向量索引加速的目的，详见后续步骤构建PolarDB IMCI向量索引。

   /*polar4ai*/CREATE TABLE file_index_table_rag(
     chunk_id varchar(265),
     chunk_content text_ik_smart, 
     file_id varchar(256),
     file_name varchar(256),
     vecs vector_768, 
     PRIMARY KEY(chunk_id)
   );

   临时表中参数说明如下：

   参数	说明	示例值
   file_id	文件主键，用于溯源文本内容。	'Polar4AI'
   file_name	文件名、文件标题与内容相关的语句。	'Polar4AI-Introduction'
   chunk_content	切片文本，使用分词器进行分词，此处可使用text_ik_smart（粗粒度拆分的词） / text_ik_max_word（细粒度拆分的词）等分词器进行分词。	文档文本内容
   vecs	切片向量，使用_polar4ai_text2vec模型将切片文本转为向量。	[0.1, 0.2, ...]
   chunk_id	{file_id}-{chunk_order}，对每一个chunk设置的主键id，在同一文件内按序递增。	'Polar4AI-1'

2. 文本转向量

   从文档元数据表中选取需要进行分词和向量化的file_id，解析文档内容并使用_polar4ai_text2vec模型的predict方法将文档切片转为向量：

   /*polar4ai*/SELECT chunk_id, file_id, file_name, chunk_content FROM predict(model _polar4ai_text2vec, SELECT file_id FROM file_id_list_rag) 
   WITH (
       x_cols='chunk_content',
       primary_key='file_id',
       resource='file',
       mode='async',
       to_chunk=1,
       headers_to_split_on=2,
       chunk_size=1024,
       chunk_overlap=64,
       separator=''
   )
   INTO file_index_table_rag;

   _polar4ai_text2vec为文本转向量模型，目前仅支持输出768维向量。WITH()中的参数说明如下：

   参数	说明	示例值或范围
   x_cols	用于存储文本的字段。	chunk_content
   primary_key	文件列表的主键，文档ID。	id
   mode	文档数据的写入模式，目前仅支持async（异步）模式。	async
   resource	在文件解析流程中为file模型。	file
   to_chunk	文件中的文本是否进行切片。	0或1
   headers_to_split_on	to_chunk=1时按照指定标题层级进行切分 当headers_to_split_on值为-1时，对文件中所有层级标题进行分块。 当headers_to_split_on值为x时，对文件中小于等于x层级的标题进行分块。	-1 ≤ x ≤6为整数值
   chunk_size	文本切分的最大长度。	chunk_size ≥ 50
   chunk_overlap	相邻两个切片之间的重叠字符数量。	chunk_overlap ≤ chunk_size
   separator	分块内切片之间的分隔符。	'' /','/'，'等

构建PolarDB IMCI向量索引

1. 创建向量索引表

   使用MySQL原生的向量类型和语法创建向量索引表，同时构建列存索引：

   CREATE TABLE vector_index (
     chunk_id varchar(265),
     chunk_content text, 
     file_id varchar(256),
     file_name varchar(256),
     vecs vector(768), 
     PRIMARY KEY(chunk_id)
   ) COMMENT 'columnar=1';

2. 构建向量索引

   首先需要从上一节的临时表中查询切片和向量的中间结果：

   /*polar4ai*/SELECT * FROM file_index_table_rag;

   将中间结果通过string_to_vector表达式写入向量索引表：

   INSERT INTO vector_index (file_name,file_id,vecs,chunk_content,chunk_id)VALUES ("file_name","file_id",string_to_vector("[...]"),'chunk_content',"chunk_id");