文档

索引表配置

更新时间:

索引表配置介绍

索引表配置是向量检索版中最重要的一个配置,它描述了原始文档的数据格式,并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。

索引表配置

配置概览

{
    "table_name":"sample",
    "fields":[

    ],
    "indexs":[

    ],
    "attributes":[

    ],
    "summarys":{

    },
    "dictionaries":[

    ],
          "adaptive_dictionaries":[
      
    ],
    "enable_ttl":true,
    "ttl_field_name":"ttl_filed",
    "default_ttl":86400
}
  • table_name:索引表名称,用于标识一个索引表,最终系统会生产一个$table_name_schema.json的索引表配置文件。

  • fields:字段信息,描述了用于构建索引的字段。

  • indexs:倒排索引配置。

  • attributes:正排索引配置。

  • summarys:摘要索引配置。

  • dictionaries:用于配置建立 bitmap 索引所需要的字典,如果不建立 bitmap 索引则不用配置该项。对高频词建立高频词典或者自适应词典能有效的减少索引空间,提高检索性能。

  • adaptive_dictionaries:建立自适应 bitmap 索引。根据配置的规则,生成高频词和对应的 bitmap 索引,如果不需要可以不配合该项。

  • file_compress:声明各种文件压缩方式的参数和别名,可供正排,倒排,summary使用文件级别的压缩。

  • enable_ttl:是否使用 TTL(time to live) 功能,过期数据会被自动清理。默认为 false。

  • ttl_field_name:指定表中字段作为ttl的字段,原始文档该字段没有填值则置为默认值。如果用户没有配置,是使用内置字段ops_doc_time_to_live_in_seconds,如果用户配置,需要字段为uint32单值类型。

  • default_ttl:TTL 的默认值。如果只配置 enable_ttl ,没有配置default_ttl ,使用默认值 std::numeric_limits<int64_t>::max() >> 20。如果只配置default_ttl 时,enable_ttl 会自动设置为 true。

fields配置

 "fileds":[
        {
            "field_name":"title",
            "field_type":"TEXT",
            "analyzer":"chn_standard"
        },
        {
            "field_name":"dup_title",
            "field_type":"TEXT",
            "analyzer":"fuzzy"
            "user_defined_param" : {
                "copy_from" : "title"
            }
        },
        {
            "field_name":"category",
            "field_type":"INTEGER",
            "multi_value":true,
            "compress_type":"uniq|equal"
        },
        {
            "field_name":"mlr_features",
            "field_type":"INTEGER",
            "multi_value":true,
            "updatable_multi_value":true
        },
        {
            "field_name":"feature",
            "field_type":"float",
            "multi_value":true,
            "fixed_multi_value_count":32,
            "compress_type":"uniq|fp16",
            "updatable_multi_value":true
        },
        {
            "field_name":"user_id",
            "field_type":"INTEGER"
        },
        {
            "field_name":"price",
            "field_type":"INTEGER",
            "enable_null":true,
            "default_null_string":"default_null"
        },
        {
            "field_name":"product_id",
            "field_type":"LONG"
        },
        {
            "field_name":"product_type",
            "field_type":"UINT8",
            "compress_type":"equal"
        },
        {
            "field_name":"bitwords",
            "field_type":"STRING",
            "multi_value":true
        },
        {
            "field_name":"date",
            "field_type":"DATE"
        },
        {
            "field_name":"time",
            "field_type":"TIME"
        },
        {
            "field_name":"timestamp",
            "field_type":"TIMESTAMP",
            "default_time_zone":"+0800"
        }
    ]
  • field_name : 字段名称。

  • field_type : 字段基本类型,详情请参考召回引擎版内置字段类型

  • analyzer : 类型为TEXT的字段所用的分词器。TEXT类型的field必须配置analyzer,其他类型不允许配置analyzer,召回引擎版支持的内置分析器请参考分析器说明。如果一个字段想使用不同的分析器,必须扩展出来一个新的字段,可以通过在schema中新增一个字段,并配置user_defined_param选项来实现,详细请参考上面的dup_title字段配置。

  • multi_value : 表明该field为多值(如果用于建立attirubte则建立多值attribute),默认值为false。

  • updatable_multi_value : 表示该多值类型字段(或单值STRING类型字段)可以更新。默认值为false。支持字段类型为:INT8,UINT8,INT16,UINT16,INTEGER(32 bit integer),UINT32,LONG(64 bit integer),UINT64,FLOAT,DOUBLE,STRING。除上述多值字段外,本配置还支持单值STRING类型。在配置updatable_multi_value=true时,还可以配置u32offset_threshold(默认为0xFFFFFFFFL,通常情况下,用户应忽略该配置项),当最大Offset超过u32offset_threshold时,将使用8字节Offset文件格式,否则使用4字节Offset文件格式。

  • fixed_multi_value_count: 多值的固定个数,如果配置该字段,则该字段在attribute索引中为定长多值字段,目前支持int8/int16/int32/int64/uint8/uint16/uint32/uint64/float/double类型字段配置为定长多值attribute。fixed_multi_value_count可以为单值string字段配置定长长度,不支持多值string字段配置

  • compress_type :指定该字段作为attribute字段存储时的压缩方法,取值可以为uniq|equal任意一个或者组合,默认值为空(不压缩)。

  • 多值attribute或者string attribute,配置uniq则对data数据进行排重压缩存储;配置equal则对offset数据进行等值压缩

  • 单值整型attribute不能配置uniq,可以配置equal对data数据进行等值压缩;FLOAT/DOUBLE浮点型单值attribute也支持等值压缩配置

  • 其他压缩方式:当字段类型为定长多值的float类型字段时,除了uniq|equal外,还可以额外选定如下fp16/block_fp/int8#[absMax]三种有损精度的编码压缩方式中的一种,进行编码压缩存储。当字段类型为单值float类型,也可配置fp16/int8#[absMax]两种编码方式中的一种进行压缩。

  • fp16和blockfp压缩效果均接近50%, fp16编码空间略小,但精度损失比block_fp更大

  • int8#[absMax]:需要用户指定编码数值的绝对值上限,如int8#1.5, 则编码值范围在[-1.5, 1.5],压缩后效果为原值的25%,精度损失和absMax相关,absMax越大,精度损失越大

  • enable_null :指定该字段是否允许空值。enable_null为true的时候,对应字段不可以配置成定长多值或者是单值equal压缩。

  • default_null_string :指定空值的字面值,默认是"__NULL__"。

  • TIMESTAMP类型字段可以配置默认时区字段default_time_zone,格式形态为+/-HHMM(例:+0800对应GMT/UTC+0800北京时间)。配置了默认时区后,解析TIMESTAMP字段时,字段值如果不带时区信息则按照默认时区理解进行GMT/UTC时间戳转换。该字段如果存储为summary字段,则按照默认时区进行展示

indexs配置

"indexs":
[
        {index1},
        {index2},
        ……
        {indexn}
]

indexs配置是一个列表,每一项都是一个完整的index配置,召回引擎版支持的index类型及配置请参考倒排索引介绍

attributes配置

"attributes": [
  "user_id", 
  "product_id", 
  "category"
]

attributes配置是一个字段的列表,字段必须在fields中声明,除了TEXT类型不能建立成attribute之外,其他都能建立为attribute。

注意:

TIME/DATE/TIMESTAMP类型的正排索引存储含义如下:

  • DATE: 从1970.01.01到date的天数(单值4字节存储), 用户如有需要可以取值后乘以86400000(单日ms总数)换算为时间戳。

  • TIME:从00:00:00到time的毫秒数(单值4字节存储)。

  • TIMESTAMP: 从1970.01.01到timestamp的毫秒数(单值8字节存储)。

summarys配置

"summarys":
{
        "summary_fields":["id", "company_id", "subject", "cat_id"],
        "compress":false 
}
  • summary_fields:配置需要进入summary的field,对于field的类型没有限制,field必须在fileds中声明。

  • compress:summary是否需要压缩(使用zlib),true为需要压缩,false为不压缩,默认值为false。

dictionaries配置

"dictionaries":[
    {
        "dictionary_name":"bitmap1",
        "content":"a;an"
    },
    {
        "dictionary_name":"bitmap2",
        "content":"of;and"
    }
]
  • dictionary_name:字典的名称;

  • content: 列举该字典中的所有单词,各单词之间以“;”分隔。

adaptive_dictionaries配置

"adaptive_dictionaries":[
    {
        "adaptive_dictionary_name":"df",
        "dict_type":"DOC_FREQUENCY",
        "threshold":1500000
    },
    {
        "adaptive_dictionary_name":"percent",
        "dict_type":"PERCENT",
        "threshold":30
    },
    {
        "adaptive_dictionary_name":"size",
        "dict_type":"INDEX_SIZE"
    }
]
  • adaptive_dictionary_name:自适应高频词典生成规则名称。

  • dict_type:自适应高频词生成规则类型。主要有三种:

  • DOC_FREQUENCY : 将df>=threshold的term作为高频词。

  • PERCENT : 将满足df/totalDocCount*100>=threshold 的term作为高频词。

  • INDEX_SIZE : 比较term生成的bitmap索引和原始索引的大小,当bitmap 索引较小时,认为该term是高频词。

注意:

一般建议将索引term可枚举(如term固定为a,b,c可数的几个)和查询query中检索比例相对不频繁的倒排字段对应的自适应bitmap规则设置为INDEX_SIZE; 对于term不可枚举且查询比较频繁的倒排索引对应的自适应bitmap规则建议设置为PERCENT或DOC_FREQUENCY(配置阈值建议基于性能测试结果选择,经验阈值为文档总数的5%,如文档总数为1000w,则DOC_FREQUENCY阈值建议为50w/PERCENT阈值配置为5)。