索引表加载策略配置
索引表的加载策略配置由多个索引文件的加载策略组成，每个策略描述了一组索引文件的具体加载方式。索引表在加载时，针对每个索引文件，从上到下依次匹配策略规则，优先使用第一个匹配的策略加载索引文件。
配置示例
{
"load_config":[
{
"file_patterns":[
"_ATTRIBUTE_",
"/index/title/.*",
"/index/body/dictionary"
],
"load_strategy":"mmap",
"lifecycle":"hot",
"load_strategy_param":{
"lock":true,
"partial_lock":true,
"advise_random":false,
"slice":4194304,
"interval":2
},
"remote" : false,
"deploy" : true,
"warmup_strategy":"sequential"
},
{
"file_patterns":[
"_SUMMARY_"
],
"load_strategy":"cache",
"load_strategy_param":{
"global_cache":false,
"direct_io":true,
"cache_size":4096
},
"remote" : true,
"deploy" : false
},
{
"warmup_strategy":"none",
"file_patterns":[
".*"
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":false
}
}
]
}参数详解
file_patterns：索引文件匹配模式，使用正则表达式。索引表的目录结构请参考索引文件目录结构，匹配模式是相对于segment目录的文件名的正则表示，比如要对倒排索引title设置独立的加载策略，title索引的匹配模式正则表示为"/index/title/.*"（索引名为title，所以在index目录中存在title索引目录，对其下的所有文件都需要匹配使用.*表示）。系统提供了一些内置的宏定义来简化索引文件匹配的设置：
_ATTRIBUTE_：等价于"/attribute/.*"，表示所有的正排索引。
_INDEX_：等价于"/index/.*"，表示所有的倒排索引。
_SUMMARY_：等价于"/summary/"，表示所有的摘要索引。
load_strategy：加载策略，主要有mmap、cache两种模式。
load_strategy_param：加载策略参数。
mmap加载策略参数
lock：mmap是否采用lock模式，默认为false。lock模式会将索引加载到内存不会换出，查询性能较好，但是内存开销较大。
partial_lock：是否对倒排索引采用部分lock，默认为false。部分lock会将倒排的一级词典lock进内存，二级词典不lock，以节省内存。
advise_random：mmap时会减少对磁盘的预读行为，默认为false。对于索引过大，并不能全部load进内存的场景，查询时磁盘IO往往会成为性能瓶颈，配置 true 该项后能显著减少对磁盘的读取量，提升查询性能。
slice和interval：控制预热加载索引的速度，每读取 slice 大小就sleep interval 大小的时间，slice单位：B，interval 单位：ms。slice 和 interval 必须同时配置。slice默认 4MB，interval 默认 0（不限速）。
cache加载策略参数
direct_io: 是否使用DirectIO方式读取文件，默认 false。DirectIO模式读取ssd盘中的数据，性能更好。
global_cache: 是否使用全局的BlockCache，默认 false。全局的BlockCache的大小是通过环境变量进行设置，目前还未开放，建议设置为false。
cache_size: global_cache为false时有效，配置BlockCache大小，单位：MB，默认 1MB。
block_size: 配置 Block 大小，单位：B，默认 4096B。
remote：与file_patterns匹配的索引文件是否从远端分布式存储系统中读取，true/false。只有need_read_remote_index设置为true时，remote才会起作用，need_read_remote_index设置为false时，remote会强制设置为false。
deploy：与file_patterns匹配的索引文件是否需要分发到本地，true/false。只有need_deploy_index设置为true时，deploy才会起作用，need_deploy_index设置为false时，deploy会强制设置为false。
warmup_strategy：预热策略，目前仅对 mmap 加载策略有效，默认为none（不预热）。如果需要预热请设置为sequential，表示顺序读取预热。
使用示例
mmap策略示例
{
"load_config":[
{
"file_patterns":[
"/attribute/price/.*", #属性字段price
"/index/title/.*", #倒排索引title
"/index/body/dictionary", #倒排索引body的词典
"/index/vector/aitheta.*" #向量索引vector
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":true, #mmap lock模式
"partial_lock":true, #部分lock，倒排索引词典只lock一级词典
"slice":4194304, #预热时，一次读取4M，每次间隔2ms
"interval":2
},
"remote" : false, #不访问远端
"deploy" : true, #索引下发到本地
"warmup_strategy":"sequential" #顺序预热
},
{
"file_patterns":[
"/attribute/tags", #属性字段tag
"/index/倒排索引description/.*" #倒排索引description
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":false,
},
"remote" : false,
"deploy" : true,
"warmup_strategy":"none"
}
]
}cache策略示例
{
"load_config":[
{
"file_patterns":[
"_ATTRIBUTE_" #所有属性字段
],
"load_strategy":"cache",
"load_strategy_param":{
"global_cache":false, #不使用全局cache
"direct_io":true, #DirectIO方式读取文件
"cache_size":20480 #cache大小为20G
},
"remote" : false, #不访问远端
"deploy" : true #索引下发到本地
},
{
"file_patterns":[
"/summary/data" #摘要索引的data文件
],
"load_strategy":"cache",
"load_strategy_param":{
"global_cache":false,
"direct_io":true,
"cache_size":4096
},
"remote" : false,
"deploy" : true
},
{
"warmup_strategy":"none",
"file_patterns":[
".*"
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":false
}
}
]
}存储计算分离
#存储计算分离需要设置need_read_remote_index为true
{
"load_config":[
{
"file_patterns":[
"/index/title/.*" #倒排索引title
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":true, #mmap lock模式
"partial_lock":true, #部分lock，倒排索引词典只lock一级词典
"slice":4194304, #预热时，一次读取4M，每次间隔2ms
"interval":2
},
"remote" : false, #不访问远端
"deploy" : true, #索引下发到本地
"warmup_strategy":"sequential" #顺序预热
},
{
"file_patterns":[
"_ATTRIBUTE_" #所有属性字段
],
"load_strategy":"cache",
"load_strategy_param":{
"global_cache":false, #不使用全局cache
"direct_io":true, #DirectIO方式读取文件
"cache_size":20480 #cache大小为20G
},
"remote" : true, #访问远端存储
"deploy" : false #索引不用下发到本地
},
{
"file_patterns":[
"/summary/data" #摘要索引的data文件
],
"load_strategy":"cache",
"load_strategy_param":{
"global_cache":false,
"direct_io":true,
"cache_size":4096
},
"remote" : true, #访问远端存储
"deploy" : false #索引不用下发到本地
},
{
"warmup_strategy":"none",
"file_patterns":[
".*"
],
"load_strategy":"mmap",
"load_strategy_param":{
"lock":false
}
}
]
}索引文件目录结构
|-- generation_0
|-- partition_0_65535
|-- index_format_version
|-- index_partition_meta
|-- schema.json
|-- segment_0
|-- attribute
`--attribute_name
`--data
|-- deletionmap
|-- deploy_index
|-- index
`--index_name
|-- bitmap_dictionary
|-- bitmap_posting
|-- dictionary
`-- posting
`--vector_index_name
|-- aitheta.index
|-- aitheta.index.addr
|-- summary
|-- data
|-- offset
`-- segment_info
|-- adaptive_bitmap__meta
|--deploy_index
|--dictionary_name
|-- truncate_meta
|-- deploy_index
`-- truncate_meta_file
`-- version.0名称 | 说明 |
generation | generation_x是引擎区分不同版本全量索引的标识。 |
partition | partition是searcher加载索引的基本单位。如果一个partition中数据过多，会导致searcher性能降低。线上数据一般通过划分多个partition的方式来保证每个searcher的检索效率。 |
segment | segment是索引组成的基本单位。segment中包含了文档的倒排和正排结构。index builder每次dump都会生成一个segment。多个segment可以通过merge策略进行合并。一个partition中可用的segment在version文件中指明。 |
index | 倒排索引的基本单位。 |
attribute | 正排索引的基本单位。 |
deletionmap | 删除的doc记录。 |
index_format_version | 索引的版本信息。用于检查索引文件是否符合binary要求。 |
index_partition_meta | 存储了全局排序的信息。包括排序字段和升降序。 |
schema.json | 索引配置文件。主要记录fields，index, attribute 和summary等信息。引擎通过该文件来加载索引。 |
version.0 | version文件。主要记录当前partition中引擎需要加载的segment和最新doc的时间戳。在实时build中，引擎会根据增量version的时间戳过滤旧的原始文档。 |
segment_info | segment信息摘要。记录了当前segment中文档数目，当前segment是否merge过，locator信息和最新doc时间戳信息。 |
dictionary | 倒排索引的词典 |
posting | 倒排索引的倒排链文件 |
bitmap_dictionary | 如果开启了bitmap高频词功能，该文件表示bitmap高频词词典。 |
bitmap_posting | 如果开启了bitmap高频词功能，该文件表示bitmap高频词对应的倒排链。 |
aitheta.index | 向量索引文件 |
aitheta.index.addr | 向量索引meta信息 |