性能白皮书

通过Web页面运行测试

• 在Run Test页面选择数据库Lindorm。

• 设置Lindorm实例信息和索引名称。

  表单还包含 version（可选，用于标记结果）、db_label（可选，用于标记结果）和 note（可选备注）字段，其中 port 默认值为 30070。

  参数	说明
  host & port	搜索引擎的Elasticsearch兼容连接地址。如何获取，请参见Elasticsearch兼容地址。 重要 请务必使用专有网络地址。
  user & password	访问向量引擎的用户名和密码。 默认用户名和密码的获取方式：在控制台的左侧导航栏，选择 数据库连接，单击搜索引擎页签，在搜索引擎页签可获取。
  index_name	创建的向量索引的名称。

• 选择测试项并填写索引配置。

  • 通用参数说明

    参数	说明
    filter_type	融合查询使用的查询模式，可选efficient_filter｜pre_filter｜post_filter。推荐选择efficient_filter。
    k_expand_scope	post_filter模式下将使用该值替换k值，用来实现放大k值的效果。
    number_of_regions	设置向量索引的regions数，如果需要测试单节点的性能表现，可将该值设置为1。

  • 索引参数说明

    HNSW索引

    在 STEP 2: Choose the case(s) 页面，勾选 Search Performance Test (100M Dataset, 768 Dim) 测试用例，数据库选择 Lindorm。将 IndexType 设置为 HNSW，filter_type 设置为 efficient_filter，k_expand_scope 设置为 1000，number_of_regions 设置为 2。

    参数	说明
    M	每一层图的最大出边数量。 推荐值：32。
    efConstruction	索引构建时动态列表的长度。 推荐值：400。
    efSearch	索引查询时动态列表的长度。通常用于提升召回精度，但会增加性能开销。 推荐值：100。

    IVFPQ索引

    在搜索性能测试（100M Dataset, 768 Dim）配置面板中，将 IndexType 设置为 IVF_PQ，filter_type 设置为 efficient_filter，k_expand_scope 设置为 1000，number_of_regions 设置为 1。

    参数	说明
    nlist	聚类中心的数量。 推荐值： $$\sqrt{n}$$，n为数据总量。
    nprobe	要查询的聚类单元的数量。通常用于提升召回精度，但会增加性能开销。 推荐值：nlist * 0.004。
    reorder-factor	使用原始向量进行重排序，获取原始向量的比例为topk * reorder_factor，通常用于提升召回精度，但会增加性能开销。 推荐值：2。
    client_refactor	是否在客户端进行重排序。 推荐值：true。
    centroids_hnsw_M	若在聚类中心搜索时使用HNSW算法，设定HNSW算法的每一层图的最大出边数量。 推荐值：32。
    centroids_hnsw_efConstruction	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在索引构建时动态列表的长度。 推荐值：500。
    centroids_hnsw_efSearch	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在查询时动态列表的长度。 推荐值：200。

    IVFBQ索引

    勾选 Search Performance Test (100M Dataset, 768 Dim)，选择 IndexType 为 IVF_BQ，设置 filter_type 为 efficient_filter、k_expand_scope 为 1000、_number_of_regions 为 1。其余参数说明及推荐值见下表。

    参数	说明
    nlist	聚类中心的数量。 推荐值： $$\sqrt{n}$$，n为数据总量。
    nprobe	要查询的聚类单元的数量。通常用于提升召回精度，但会增加性能开销。 推荐值：nlist * 0.004。
    reorder-factor	使用原始向量进行重排序，获取原始向量的比例为topk * reorder_factor，通常用于提升召回精度，但会增加性能开销。 推荐值：2。
    client_refactor	是否在客户端进行重排序。 推荐值：true。
    centroids_hnsw_M	若在聚类中心搜索时使用HNSW算法，设定HNSW算法的每一层图的最大出边数量。 推荐值：32。
    centroids_hnsw_efConstruction	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在索引构建时动态列表的长度。 推荐值：500。
    centroids_hnsw_efSearch	若在聚类中心搜索时使用HNSW算法，设定HNSW算法在查询时动态列表的长度。 推荐值：200。
    exbits	用于指定额外字节数来表示量化后的向量。exbits越大，召回率越高，内存占用越高。 推荐值：2。

通过命令行运行测试

• 如果多次重复跑性能测试，可以在下述命令后面加上--skip-drop-old --skip-load跳过索引创建和数据导入。

  #HNSW索引
  vectordbbench lindormhnsw --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --m <M> --ef-construction <efConstruction> --ef-search <efSearch>
  #IVFPQ索引
  vectordbbench lindormivfpq --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --lists <nlist> --probes <nprobe> --m <centroids_hnsw_M> --ef-construction <centroids_hnsw_efConstruction> --ef-search <centroids_hnsw_efSearch> --reorder-factor <reorder_factor>
  #IVFBQ索引
  vectordbbench lindormivfbq --case-type Performance768D10M --index-name <index_name> --k 10 --host <host> --port <port> --user <user> --password <password> --lists <nlist> --probes <nprobe> --exbits <exbits> --m <centroids_hnsw_M> --ef-construction <centroids_hnsw_efConstruction> --ef-search <centroids_hnsw_efSearch> --reorder-factor <reorder_factor>

• 运行测试

  如果需要跳过索引创建和数据导入，勾选Index already exists。

  在 Task Label 中输入任务标签。根据需要勾选 Dataset from Aliyun (Shanghai) 以从阿里云OSS上海节点下载数据集。设置 K value（最近邻搜索数量，默认为 10）、num of concurrencies（搜索并发数，如 32,64,128,160）和 concurrency duration（每次并发搜索测试持续时间，默认为 30 秒）。完成配置后，单击 Run Your Test。

测试指标说明

HNSW索引Search Performance