向量索引的lock策略
向量索引的lock策略配置
对于向量检索有性能要求的业务场景,可以通过修改在线表配置,将向量索引lock 内存,来提升检索效率,具体配置方法如下:
在部署管理页面点击数据节点:
在在线表配置下选择对应的索引表,点击编辑:
在load_config 下添加如下配置(详细配置可参考索引表加载策略):
{ "file_patterns": [ "/index/${向量索引名称}" ], "load_strategy": "mmap", "load_strategy_param": { "slice": 409600, "lock": true, "interval": 2 } },
修改之后,集群会根据在线配置中的最小服务比例进行rolling:
因此,在操作线上正式集群时,确保最小服务比例>0,并且按最小服务比例进行rolling时,可提供服务的数据节点可以支撑现在的全部流量。
注意事项
向量索引lock内存后,会占用数据节点的内存,建议在数据节点有充足的内存资源时,再进行lock策略修改;
数据压缩对性能的影响说明
相关建议:
高频访问的索引、字段、属性,建议不开启压缩;
热点字段,建议不开启压缩;
开启压缩后,对查询性能有比较大的影响,建议通过测试集群灰度测试后,查看开启数据压缩后对性能的影响,如查询的耗时,集群的负载等指标;确认对业务影响不大的情况下,再变更线上正在服务的集群
开启数据压缩后的调优手段:
开启压缩后,虽然对性能的影响比较大,但是可以通过索引表的加载策略,抵消部分影响,配置方式如下:
在cache策略中,load_config>load_strategy_param添加参数:
"cache_decompress_file": true
该参数用于缓存压缩后的数据,可结合数据压缩使用,降低开启数据压缩后对性能的影响。
该文章对您有帮助吗?
- 本页导读 (1)
- 向量索引的lock策略
- 向量索引的lock策略配置
- 注意事项
- 数据压缩对性能的影响说明