引擎性能调优

更新时间:2025-02-26 08:15:38

向量索引的lock策略

向量索引的lock策略配置

对于向量检索有性能要求的业务场景,可以通过修改在线表配置,将向量索引lock 内存,来提升检索效率,具体配置方法如下:

  1. 在部署管理页面点击数据节点:

    image.png

  2. 在在线表配置下选择对应的索引表,点击编辑:

    image.png

  3. load_config 下添加如下配置(详细配置可参考索引表加载策略):

    {  
            "file_patterns": [
              "/index/${向量索引名称}"
            ],
            "load_strategy": "mmap",
            "load_strategy_param": {
              "slice": 409600,
              "lock": true,
              "interval": 2
            }
          },
  4. 修改之后,集群会根据在线配置中的最小服务比例进行rolling:

    image.png

因此,在操作线上正式集群时,确保最小服务比例>0,并且按最小服务比例进行rolling时,可提供服务的数据节点可以支撑现在的全部流量。

注意事项

  • 向量索引lock内存后,会占用数据节点的内存,建议在数据节点有充足的内存资源时,再进行lock策略修改;

数据压缩对性能的影响说明

相关建议

  • 高频访问的索引、字段、属性,建议不开启压缩;

  • 热点字段,建议不开启压缩;

  • 开启压缩后,对查询性能有比较大的影响,建议通过测试集群灰度测试后,查看开启数据压缩后对性能的影响,如查询的耗时,集群的负载等指标;确认对业务影响不大的情况下,再变更线上正在服务的集群

开启数据压缩后的调优手段

开启压缩后,虽然对性能的影响比较大,但是可以通过索引表的加载策略,抵消部分影响,配置方式如下:

cache策略中,load_config>load_strategy_param添加参数:

"cache_decompress_file": true

该参数用于缓存压缩后的数据,可结合数据压缩使用,降低开启数据压缩后对性能的影响。

  • 本页导读 (1)
  • 向量索引的lock策略
  • 向量索引的lock策略配置
  • 注意事项
  • 数据压缩对性能的影响说明
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等