性能白皮书

通过Web页面运行测试

• 在Run Test页面选择数据库Lindorm。

  

• 设置Lindorm实例信息和索引名称。

  

  参数	说明
  host & port	搜索引擎的Elasticsearch兼容连接地址。如何获取，请参见Elasticsearch兼容地址。 重要 请务必使用专有网络地址。
  user & password	访问向量引擎的用户名和密码。 默认用户名和密码的获取方式：在控制台的左侧导航栏，选择 数据库连接，单击搜索引擎页签，在搜索引擎页签可获取。
  index_name	创建的向量索引的名称。

• 选择测试项并填写索引配置。

  • 通用参数说明

    参数	说明
    filter_type	融合查询使用的查询模式，可选efficient_filter｜pre_filter｜post_filter。推荐选择efficient_filter。
    k_expand_scope	post_filter模式下将使用该值替换k值，用来实现放大k值的效果。
    number_of_regions	设置向量索引的regions数，如果需要测试单节点的性能表现，可将该值设置为1。

  • 索引参数说明

    HNSW索引

    

    参数	说明
    M	每一层图的最大出边数量。 推荐值：32。
    efConstruction	索引构建时动态列表的长度。 推荐值：400。
    efSearch	索引查询时动态列表的长度。通常用于提升召回精度，但会增加性能开销。 推荐值：100。

    IVFPQ索引

    

    参数	说明
    nlist	聚类中心的数量。 推荐值：$$\sqrt{n}$$，n为数据总量。
    nprobe	要查询的聚类单元的数量。通常用于提升召回精度，但会增加性能开销。 推荐值：nlist * 0.004。
    reorder-factor	使用原始向量进行重排序，获取原始向量的比例为topk * reorder_factor，通常用于提升召回精度，但会增加性能开销。 推荐值：2。
    client_refactor	是否在客户端进行重排序。 推荐值：true。
    centroids_hnsw_M	若在聚类中心搜索时使用HNSW算法，设定HNSW算法的每一层图的最大出边数量。 推荐值：32。
    centroids_hnsw_efConstruction	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在索引构建时动态列表的长度。 推荐值：500。
    centroids_hnsw_efSearch	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在查询时动态列表的长度。 推荐值：200。

    IVFBQ索引

    

    参数	说明
    nlist	聚类中心的数量。 推荐值：$$\sqrt{n}$$，n为数据总量。
    nprobe	要查询的聚类单元的数量。通常用于提升召回精度，但会增加性能开销。 推荐值：nlist * 0.004。
    reorder-factor	使用原始向量进行重排序，获取原始向量的比例为topk * reorder_factor，通常用于提升召回精度，但会增加性能开销。 推荐值：2。
    client_refactor	是否在客户端进行重排序。 推荐值：true。
    centroids_hnsw_M	若在聚类中心搜索时使用HNSW算法，设定HNSW算法的每一层图的最大出边数量。 推荐值：32。
    centroids_hnsw_efConstruction	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在索引构建时动态列表的长度。 推荐值：500。
    centroids_hnsw_efSearch	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在查询时动态列表的长度。 推荐值：200。
    exbits	用于指定额外字节数来表示量化后的向量。exbits越大，召回率越高，内存占用越高。 推荐值：2。

通过命令行运行测试

• 如果多次重复跑性能测试，可以在下述命令后面加上--skip-drop-old --skip-load跳过索引创建和数据导入。

  #HNSW索引
  vectordbbench lindormhnsw --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --m <M> --ef-construction <efConstruction> --ef-search <efSearch>
  
  #IVFPQ索引
  vectordbbench lindormivfpq --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --lists <nlist> --probes <nprobe> --m <centroids_hnsw_M> --ef-construction <centroids_hnsw_efConstruction> --ef-search <centroids_hnsw_efSearch> --reorder-factor <reorder_factor>
  
  #IVFBQ索引
  vectordbbench lindormivfbq --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --lists <nlist> --probes <nprobe> --exbits <exbits> --m <centroids_hnsw_M> --ef-construction <centroids_hnsw_efConstruction> --ef-search <centroids_hnsw_efSearch> --reorder-factor <reorder_factor>

• 运行测试

  如果需要跳过索引创建和数据导入，勾选Index already exists。

  

测试指标说明

HNSW索引Search Performance