阿里云Elasticsearch AI场景语义搜索

步骤一：（可选）调试模型

• 调试doc_split推理模型。

  POST _inference/doc_split/ops-document-split-001
  {
    "input":["文档切片服务（ops-document-split-001）：提供通用文本切片服务，支持基于文档段落、文本语义、指定规则，对HTML、Markdown、txt格式的结构化数据进行拆分，同时支持以富文本形式提取文档中的代码、图片以及表格。OpenSearch文本向量化服务-001（ops-text-embedding-001）提供多语言（40+）文本向量化服务，输入文本最大长度300，输出向量维度1536维。"]
  }

• 调试text_embedding推理模型。

  POST _inference/text_embedding/ops-text-embedding-001
  {
    "input":["科学技术是第一生产力", "elasticsearch产品文档"]
  }

• 调试sparse_embedding推理模型。

  POST _inference/sparse_embedding/ops-text-sparse-embedding-001
  {
    "input":["科学技术是第一生产力", "elasticsearch产品文档"]
  }

步骤二：配置ingest pipeline

pipeline配置文档切片模型对文档进行语义切分，并应用向量化模型将切片后的文档生成text embedding向量和sparse embedding向量，写入nested类型的子文档中。

PUT _ingest/pipeline/os-pipeline-demo
{
  "description": "This is an example of splitting, text-embedding and sparse-embedding fields use foreach",
  "processors": [
    {
      "document_splitting": {
        "model_id": "ops-document-split-001",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "chunk",
            "extend_output_field": "chunk_ext"
          }
        ]
      }
    },
    {
      "foreach": {
        "field": "chunk",
        "processor": {
          "text_embedding": {
            "model_id": "ops-text-embedding-001",
            "input_output": [
              {
                "input_field": "_ingest._value.content",
                "output_field": "_ingest._value.embedding"
              }
            ]
          }
        }
      }
    },
    {
      "foreach": {
        "field": "chunk",
        "processor": {
          "text_embedding": {
            "model_id": "ops-text-sparse-embedding-001",
            "input_output": [
              {
                "input_field": "_ingest._value.content",
                "output_field": "_ingest._value.sparse_embedding"
              }
            ]
          }
        }
      }
    }
  ]
}

ingest pipeline创建成功后，可以通过simulate接口（仅用于模拟调试，不会实际创建索引），测试pipeline处理的效果：：

POST _ingest/pipeline/os-pipeline-demo/_simulate
{
  "docs": [
    {
      "_index": "testindex",
      "_id": "1",
      "_source":{
        "content": "现代科技的发展推动了人工智能的极速进步。AI在各个领域展现出巨大的潜力，从医疗到金融，AI都在发挥着重要的作用，为人类的生活带来了翻天覆地的变化。"
      }
    }
    ]
}

步骤三：创建索引

执行以下代码，在ES中建立基于向量的文档索引。

PUT os_demo_index
{
  "mappings": {
    "properties": {
        "content": {
          "type": "text"
        },
        "chunk":{
          "type":"nested",
          "properties": {
            "content":{
              "type":"text"
            },
            "embedding":{
              "type": "dense_vector",
              "dims": 1536
            },
            "sparse_embedding":{
              "type": "sparse_vector"
            }
          }
        }
      }
  }
}

步骤四：写入数据

将通过pipeline处理后的数据写入索引作为搜索内容基础。

写入数据时带上配置好的pipeline_id，文本数据就可以通过pipeline进行自动的切分和embedding。

POST os_demo_index/_bulk?pipeline=os-pipeline-demo
{"index":{}}
{"content":"现代科技的发展推动了人工智能的极速进步。AI在各个领域展现出巨大的潜力，从医疗到金融，AI都在发挥着重要的作用，为人类的生活带来了翻天覆地的变化。"}
{"index":{}}
{"content":"教育是一个国家发展的基石。高质量的教育不仅能够帮助个人实现梦想，还能推动社会的进步。教育公平是实现社会和谐的关键，每个孩子都有受教育的权利。"}
{"index":{}}
{"content":"旅游可以让人们开阔视野，体验不同的文化和风俗。无论是饱览自然风光，还是探寻历史古迹，旅行都能让人们在体验中学习和成长。"}
{"index":{}}
{"content":"健康饮食对于保持身体健康至关重要。合理搭配膳食，摄入足够的营养，不仅可以增强免疫力，还能预防多种疾病。多吃蔬菜水果，少吃高脂食物，是保持健康的重要措施。"}
{"index":{}}
{"content":"互联网改变了人们的生活方式。随着智能手机和社交媒体的普及，信息传播的速度大大加快。人们可以通过网络获取最新的新闻、学习新的知识，以及与朋友保持联系。"}
{"index":{}}
{"content":"历史是一面镜子，通过研究历史，人们能够更好地了解过去，从而预测未来。无论是战争的经验教训，还是文明的更迭，历史都为我们提供了宝贵的知识和智慧。"}
{"index":{}}
{"content":"运动是保持身体健康的重要途径。无论是跑步、游泳，还是做瑜伽，都有助于强身健体。适量的运动可以提高心肺功能，增强体力，减轻压力，提高生活质量。"}
{"index":{}}
{"content":"艺术是人类文明的重要组成部分。通过绘画、音乐、舞蹈等形式，艺术表达了人们的情感和思想。丰富多彩的艺术形式不仅带给人们美的享受，还能陶冶情操、激发创造力。"}
{"index":{}}
{"content":"环境保护是全人类共同的责任。随着工业化进程的推进，环境问题日益严重。保护环境不仅关系到我们这一代人的生活质量，也影响到后代的福祉。"}
{"index":{}}
{"content":"科学研究是推动社会进步的重要力量。通过不断的探索和实验，科学家们揭示了自然界的奥秘，为人类文明的发展提供了强大的推动力。"}
{"index":{}}
{"content":"城市化进程中，城市规划显得尤为重要。科学合理的城市规划能够提高居民的生活质量，优化资源配置，促进经济发展。"}
{"index":{}}
{"content":"文学作品是人类思想的结晶。通过阅读文学作品，人们可以了解不同的世界观和价值观，培养同理心，提升文化素养。"}

步骤五：查询数据

knn查询（稠密向量检索）

将Query转化为稠密向量进行稠密向量检索。

GET os_demo_index/_search
{
  "_source": "content", 
  "knn" : {
    "field": "chunk.embedding",
    "query_vector_builder": {
      "text_embedding": {
        "model_id": "ops-text-embedding-001",
        "model_text": """
        AI在医疗和金融行业的应用
        """
      }
    },
    "k": 10,
    "num_candidates": 100
  }
}

查询时带上inner hint，可返回knn查询命中的chunk：

GET os_demo_index/_search
{
  "_source": "content", 
  "knn" : {
    "field": "chunk.embedding",
    "query_vector_builder": {
      "text_embedding": {
        "model_id": "ops-text-embedding-001",
        "model_text": """
        AI在医疗和金融行业的应用
        """
      }
    },
    "k": 10,
    "num_candidates": 100,
    "inner_hits":{
      "_source": ["chunk.content","chunk.meta"],
      "size":2
    }
  }
}

RRF查询（混合检索）

将Query转化为稠密向量及稀疏向量，并进行全文检索、稠密向量检索、稀疏向量检索，通过融合排序算法召回Top 10的内容。

GET os_demo_index/_search
{
  "_source": "content", 
  "sub_searches":[
    {
      "query":{
        "match": {
          "content": "AI在医疗和金融行业的应用"
        }
      }
    },
    {
      "query":{
        "nested": {
          "path": "chunk",
          "query": {
            "text_expansion":{
              "chunk.sparse_embedding":{
                "model_id":"ops-text-sparse-embedding-001",
                "model_text":"AI在医疗和金融行业的应用"
              }
            }
          }
        }
      }
    }
  ],
  "knn" : {
    "field": "chunk.embedding",
    "query_vector_builder": {
      "text_embedding": {
        "model_id": "ops-text-embedding-001",
        "model_text": """
        AI在医疗和金融行业的应用
        """
      }
    },
    "k": 10,
    "num_candidates": 100
  },
  "rank":{
    "rrf":{
    }
  }
}