结构化信息搜索

服务创建

单击快速创建，选择结构化信息搜索，进入服务创建界面，编辑服务名称并选择服务所使用的引擎及数据源，完成创建后进入索引配置界面。

引擎

提供检索服务的基础组件，可在资源中心进行引擎管理也可在快速创建页面直接选择或添加。更多信息可查看引擎管理操作指南。

数据导入

数据源

企业知识库存储，可在资源中心进行数据源管理也可在快速创建页面直接选择或添加。更多信息可查看数据源管理操作指南。

子路径/库表

企业知识库当前所选数据源存储地址，系统读取所选数据源下的目录文件/库表，支持按子路径选择目录文件及其子目录/库表。

解析字段

系统离线解析数据源字段，用于构建索引。解析字段中所选数据库表字段，非固定可选。

勾选使用该字段，被勾选的字段将入库构建索引，不同的字段类型在搜索过程中参与到召回、排序的链路中，在查询结果中可以展示。未勾选字段将不会构建索引。

字段描述tips：请用中文尽量简短并准确描述字段含义，此描述会作为搜索算法语义理解依赖，影响搜索准确性。仅支持在服务未完成创建时进行编辑，服务创建后则无法再次更新，需到服务测试中更新并保存生效；

配置索引

数据源表

字段名，字段描述，字段类型

对采用数据表作为数据源的实例，字段名和表格字段名一一对应。字段名不允许带有'_'前缀。

支持数组

可以选择该字段是否支持数组，但需要同时满足以下两个条件才可进行配置：

1. 原表字段类型必须为string类型。

2. 索引字段类型必须为keyword类型。

索引字段类型

索引字段类型定义了字段的数据类型，以便搜索引擎(例如ElasticSearch)能够正确地处理和索引这些字段的值。以ElasticSearch为例，常见的索引字段类型：

目前可选的索引字段类型包括：

分析器

在索引构建过程中，分析器(OR 分词器)是用于将文本数据分割成词的工具。它是文本分析过程中的一个重要组件，用于构建倒排索引，以便能够对文本进行搜索和匹配。

分析器将输入的文本按照一定的规则进行分割，分析器可以将一个长文本分割成多个独立的单字或者词汇片段，以便能够对这些片段进行索引和搜索。千寻搜索算法提供多种内置的分析器，包括：

只有Text类型字段可以设置分词类型

向量化

文本向量化是将文本数据转换为数值向量的过程。它将文本中的词语、句子表示为向量形式，以便能够信息检索等任务中进行相关性计算。

文本向量化实例：

输入文本："一条黄色的裙子"

向量化后结果：[0.2694664001464844,-0.3998311161994934,-0.14598636329174042,-0.4976918697357178,-0.13986249268054962,0.6272065043449402,-0.1434994637966156,-0.33319777250289917]

注意：

1、向量化后为一个浮点数列表，列表长度取决于向量化模型的输出维度；

2、在索引构建阶段, 向量化只对TEXT类型字段生效；

3、如果选择多个TEXT字段向量化，算法模型将自动将多个字段拼接计算向量结果。

主键

指定主键，作为数据唯一标识。

数据更新所依据时间字段

指定更新时间字段，用户后续索引更新标识，如不指定，索引数据只会执行首次构建，不会做增量更新。

搜索字段

全文检索字段，需要为keywords或text类型，用来执行搜索操作，匹配查询条件，限制搜索范围。

接口返回字段

接口返回字段是指搜索请求后的返回结果字段，可在索引配置字段中选择业务所需字段，此字段会在开放接口openapi中的fields字段返回。后续可应用于大模型多轮对话中的参考内容。

配置加载

在完成创建与配置流程后，进行配置加载，此期间您可以离开当前页面进行其他操作，不会影响服务构建和数据导入工作完成。

服务测试及线上调优配置

搜索输入

高级参数配置

服务测试界面设置高级参数配置，选择“添加配置参数”，并选择相应参数进行配置，点击“保存”后参数配置生效。

查询结构化解析

点击加号添加原数据库库表字段索引并构建或更新相关字段描述。在字段描述中，用中文尽量简短并准确描述字段含义，此描述会作为搜索算法语义理解依赖，影响搜索准确性。

JSON配置

搜索输入以json格式输入，搜索参数可以参考结构化信息搜索API。

请求入参：

返回出参：

下面是一个常用的搜索输入示例以及对应解释

{
    "uq": "搜索请求", // 用户搜索请求query
    "type": "title,content,vector", // 召回阶段使用的索引字段
    "debug": false, // 是否开启调试
    "fields": [ // 召回字段
        "title",
        "content"
    ],
    "page": 1, // 分页（页码）初始值是1
    "rows": 10, // 分页（行数）
    "customConfigInfo": {
        "qpEmbedding": true, // 是否使用向量搜索
        "uqVectorRecallRatio": 0.5, // 多路召回向量召回配比
        "rerankSize": 100  // 排序数量
    },
    "rankModelInfo": { // 排序公式
        "default": {
            "features": [
                {
                    "name": "vector_index", // 向量召回分数
                    "weights": 1.0, // 特征权重
                    "threshold": 0.0,  // 特征阈值（低于阈值的特征将被制为0分）
                    "norm_factor": 0.001,
                    "norm": true,
                    "score_type": "L2"
                },
                {
                    "name":"static_value", // _rc_t_score是文本召回分数，通过static_value特征获取
                    "field":"_rc_t_score",
                    "weights":0.1,
                    "threshold":0,
                    "norm_factor": 80, // 归一化系数（具体请参考排序公式文档）
                    "norm":true // 特征是否需要归一化
                },
                {
                    "name": "query_match_ratio", // 查询词在对应字段覆盖率
                    "field": "title", // 字段名
                    "weights": 0.5,
                    "threshold": 0.0,
                    "norm": false
                },
                {
                    "name": "cross_ranker", // 语义匹配特征
                    "weights": 1.0,
                    "threshold": 0,
                    "fields": ["title", "desc"] // 语义匹配特征作用字段（list类型）
                },
                {
                    "name": "doc_match_ratio", // 对应字段词在查询的覆盖率
                    "field": "title",
                    "weights": 0.5,
                    "threshold": 0.0,
                    "norm": false
                }
            ],
            "aggregate_algo": "weight_avg" // 最终排序分数计算方式，当前仅支持”weight_avg“
        }
    }
}

多路召回-向量召回比例：

名词解释：召回模型主要包括文本相关性召回和语义向量召回。其中文本相关性召回是从文本分词后的词粒度的一致性上做文档召回，语义向量召回是指将文本转为语义向量后在向量空间里的寻找空间距离最靠近的文档作为召回。

推荐值：目前建议50%，表示文本召回和语义向量召回的文档数各占总召回数量的一半。

功能描述：控制query召回时向量召回部分占所有召回数量的比例。

tips：若希望不使用向量召回（仅用文本相关性召回）设置为0%，当前版本不支持仅向量召回（不建议设置成100%）。

精排DOC数量

名词解释：进入精排计算的最大文档数量。

推荐值：200-500。

功能描述：query在召回所有相关文本后，会基于召回的结果做一个基础的相关性打分并排序，当召回的文档数目总数大于当前设置的精排DOC数量N时，会取基础相关性打分最高的TOP N进入精排计算。

Tips：该数字越大表示用于精排的文档数越多，对于最终效果会更好，但精排计算所消耗时间会更长。

最小文本匹配度

名词解释：搜索条件和文本的匹配程度

推荐值：80%，数值类型为百分比，取值范围为0至100%。

功能描述：非全匹配模式下，控制匹配文本的相似度。若匹配度为0.8，则表示文本80%的内容同搜索条件相匹配。若匹配程度小于设置值，则此文本不作为参考文本。

分数阈值

名词解释：排序分数阈值

推荐值：0

功能描述：用于过滤低相关性分档，所有文档排序后，排序分数低于该分数的文档不会返回。

自定义排序公式

名词解释：产品提供了丰富的排序特征供用户根据实际情况实现自定义排序。排序公式为json格式，配置在rankModelInfo中。内置的排序模型将会根据rankModelInfo指定的排序公式对召回结果根据排序特征进行打分，并计算最终的排序分数以及排序结果。内置的排序模块提供了多种排序特征，并且支持对每个特征配置对应索引字段，权重，阈值，以及是否归一化等。

rankModelInfo

自定义排序公式配置字段，包含对原始query以及extra query的排序公式，每类排序公式为dict类型，dict名称为对应的查询字段名称。（默认query（uq）的排序公式类型名为“default"，额外的查询排序公式类型名为其对应的在"extras"字段对应的查询名称）。

排序公式

每类排序公式的具体内容包含 "features" 以及 "aggregate_algo"两部分。“features” 为具体排序特征及其参数的列表。 "aggregate_algo"目前仅支持“weight_avg"，即对所有特征加权求和。 此加权求和结果即为“精排分数。

特征

每一项特征为dict格式，包含特征名称以及特征参数。特征通用参数如下：

特征通用参数

name: 特征名

field: 计算相关性特征的索引字段。

weights: 特征权重，为float类型。

threshold: 特征分数阈值，float类型。低于阈值的特征分数将被置为0（注意：threshold过滤值为normalize前分数）。设置阈值目的是为了过滤小匹配度特征分对结果的影响，强化高匹配度特征，通过自定义设定实现对特征有效筛选。

norm: 是否将特征进行归一化bool类型。归一化是指通过特定的转换方法将原始排序特征分数调整到一个统一的规模（0-1之间）。其主要目的是消除不同特征之间的量纲差异，使得不同特征分数具有可比性。

norm_factor：float类型，归一化系数，用于适配原始分数（建议设置为原始分布的均值（不能为0））。

具体每项特征具体说明如下：

特征说明：

{
 "field":"_rc_t_score",
 "weights":0.25,
 "threshold":0
},

自定义排序最佳实践

Tips：以下例子均假设在索引中存在名为"content"的字段。

{
    "rankModelInfo": {
        "default": { 
            "features": [
                {
                    "name": "text_index",
                    "weights": 1.0,
                    "threshold": 10,
                    "norm": true 
                },
                {
                    "name": "query_match_ratio",
                    "weights": 1.0,
                    "threshold": 0.0,
                    "field":"content"
                }
            ],
            "aggregate_algo": "weight_avg"
        },
    }
}

{
    "rankModelInfo":{
        "default":{
            "features":[
                {
                    "name":"static_value",
                    "field":"_rc_t_score",
                    "weights":1,
                    "threshold":10,
                    "norm":true
                },
                {
                    "name":"vector_index",
                    "weights":1,
                    "threshold":0,
                    "norm":true,
                    "norm_factor":0.001,
                    "score_type": "L2"
                },
                {
                    "name":"query_match_ratio",
                    "weights":1,
                    "threshold":0,
                    "field":"content"
                }
            ],
            "aggregate_algo":"weight_avg"
        }
    }
}

{
    "rankModelInfo": {
        "default": {
            "features": [
                {
                    "name": "static_value",
                    "field": "_rc_t_score",
                    "weights": 1,
                    "threshold": 10,
                    "norm": true
                },
                {
                    "name": "vector_index",
                    "weights": 1,
                    "threshold": 0,
                    "norm": true,
                    "norm_factor": 0.001,
                    "score_type": "L2"
                },
                {
                    "name": "query_match_ratio",
                    "weights": 1,
                    "threshold": 0,
                    "field": "title"
                }
            ],
            "aggregate_algo": "weight_avg"
        }
    },
    "keyword": {
        "features": [
            {
                "name": "query_match_ratio",
                "weights": 1,
                "threshold": 0,
                "field": "content"
            }
        ],
        "aggregate_algo": "weight_avg"
    }
}

本例子展示了一个带额外查询“keyword”的排序公式，用户需要在"extras"字段内配置与特征字段名相同的查询字段（本例中为“keyword")