基于Lindorm多模能力快速实现图片检索

检索方式

具体描述

涉及引擎

以文搜图

通过文字搜索图片，支持向量检索，也支持全文和向量混合检索。

1. 输入描述文字。

   def on_button_clicked(b):
       with output:
           clear_output()  # 清除上次输出
           if text_input.value:
               code, embedding = lindorm.text_embedding(text_input.value)
           else:
               print("请先输入描述文字")
               return
           
           if b.description == "纯向量检索":
               hits = lindorm.knn_search(embedding)
           elif b.description == "RRF融合检索":
               if text_input.value == '':
                   print("请先输入关键字")
                   return
               hits = lindorm.rrf_search(text_input.value, embedding)
           print("文本搜图")
           show_hits(hits)

2. 文字转向量。

   if text_input.value:
               code, embedding = lindorm.text_embedding(text_input.value)

   def text_embedding(self, text: str):
           data = {"input": [text]}
           return self.post_model_request(Config.LD_TEXT_MODEL, data)
        

3. 检索图片。

   • 向量检索。

     if b.description == "纯向量检索":
         hits = lindorm.knn_search(embedding)

     def knn_search(self, picture_embedding):
             body = {
                 "query": {
                     "knn": {
                         "image_embedding": {
                             "vector": picture_embedding,
                             "k": self.top_k
                         }
                     }
                 },
                 "size": self.top_k
             }
             response = self.client.search(index=self.index_name, body=body)
             return response.get('hits').get('hits')
     

   • 全文和向量混合检索。

     elif b.description == "RRF融合检索":
         if text_input.value == '':
             print("请先输入关键字")
             return
         hits = lindorm.rrf_search(text_input.value, embedding)

     def rrf_search(self, text, embedding):
             query = {
                 "_source": ["description"],
                 "size": self.top_k,
                 "query": {
                     "knn": {
                         "image_embedding": {
                             "vector": embedding,
                             "filter": {
                                 "match": {
                                     "description": text
                                 }
                             },
                             "k": self.top_k
                         }
                     }
                 },
                 "ext": {"lvector": {
                     "hybrid_search_type": "filter_rrf",
                     "rrf_rank_constant": "60",
                     "rrf_knn_weight_factor": "0.4"
                 }}
             }
             response = self.client.search(index=self.index_name, body=query)
             return response.get('hits').get('hits')
             

AI引擎

搜索引擎

向量引擎

以图搜图

通过图片搜索图片，全文和向量混合检索。

1. 显示上传的图片。

   def show_uploaded_image(change):
       with output:
           clear_output()  # 清除上次输出
           if change['new']:
               # 获取上传的文件内容
               uploaded_file = change['new'][0]
               content = uploaded_file['content']
               # 使用 PIL 打开图片
               image = Image.open(io.BytesIO(content))
               # 使用 matplotlib 显示图片
               plt.imshow(image)
               plt.axis('off')  # 不显示坐标轴
               plt.show()
               code, embedding = lindorm.picture_embedding(content)
               hits = lindorm.knn_search(embedding)
               print("图片上传检索")
               show_hits(hits)

2. 图片转向量。

   code , embedding = lindorm.picture_embedding(content)

   def picture_embedding(self, image):
       encoded_str = base64.b64encode(image).decode('utf-8')
       data = {"input": {"images": [encoded_str]}}
       return self.post_model_request(Config.LD_VL_MODEL, data)

3. 向量检索图片。

   hits = lindorm.knn_search(embedding)

   def rrf_search(self, text, embedding):
       query = {
           "_source": ["description"],
           "size": self.top_k,
           "query": {
               "knn": {
                   "image_embedding": {
                       "vector": embedding,
                       "filter": {
                           "match": {
                               "description": text
                           }
                       },
                       "k": self.top_k
                   }
               }
           },
           "ext": {"lvector": {
               "hybrid_search_type": "filter_rrf",
               "rrf_rank_constant": "60",
               "rrf_knn_weight_factor": "0.4"
           }}
       }
       response = self.client.search(index=self.index_name, body=query)
       return response.get('hits').get('hits')
       

AI引擎

搜索引擎

向量引擎

以图搜图-图片去重

运行LindormMultiModalSearch.ipynb，对图片去重。

1. 创建索引并导入图片。

   if __name__ == '__main__':
       print("start")
       lindorm = Lindorm("multimodal_search_index2")
       
       if lindorm.get_index() is None:
           # lindorm.drop_index()
           lindorm.create_search_index()
       print("索引创建完成")
       import_all_data(dir_input.value)

2. 计算图片相似度。

   # 计算图片向量
   code, picture_embedding = lindorm.picture_embedding(image_data)
   hits = lindorm.knn_search(picture_embedding)
   
   # 显示 float_input
   print('图片相似度阈值:', float_input.value)
   print('图片类型:', image_type)

3. 若存在达到或超过阈值的图片，则不导入；否则，完成图片入库。

   if hits[0].get('_score') >= float_input.value:
       print(f"库中存在图片相似度 >= {float_input.value}，不导入")
   else:
       print(f"库中不存在图片相似度 >= {float_input.value}，导入这张图片")
       dir = dir_input.value
       if not os.path.exists(dir):
           os.makedirs(dir)
       pic_name = str(uuid.uuid4()) + "." + image_type
       pic_path = os.path.join(dir, f"{os.path.basename(pic_name)}")
       import_new_image(image_data, pic_path, picture_embedding)

AI引擎

搜索引擎

向量引擎