Milvus资源估算与配置建议
在使用向量检索服务Milvus版前，合理估算所需的计算资源对于保障系统稳定运行和优化成本至关重要。向量检索服务Milvus提供了资源计算器功能，您可以根据提供的实验数据（向量规模、向量维度、索引类型等），帮助您理解如何推算所需的资源规模，但实际部署时还需您根据测试结果进行调整。
资源计算器
阿里云Milvus服务当前支持的计算资源配置比例为1:4。为确保实例运行稳定性，分配的内存资源将高于实际所需的内存容量。
通过资源计算器，您能够方便地估算所需实例资源。您只需要输入向量数据规模和维度，并选择合适的索引类型，系统将为您推荐适宜的实例配置。例如，若您输入数据规模为8（百万）个向量，每个向量768维，并选择HNSW索引类型，设置索引参数M为4，页面将实时显示推荐配置。根据这些建议，您可以轻松进行实例选型和性能测试。
资源参数
输入资源规模
参数 | 说明 |
向量规模（百万） | 向量规模直接决定了索引的大小和查询时需要遍历的数据量。规模越大，所需的存储空间越多，同时构建索引和查询时的计算复杂度也相应增加，可能导致更长的处理时间和更高的硬件资源需求。 |
向量维度 | 向量的维度影响着索引的复杂度和精度。高维向量增加了索引的复杂性，因为每个向量在高维空间中需要更多的计算资源来比较相似度。这不仅会增加存储成本，还会降低查询速度，特别是在没有有效降维或量化策略的情况下。 |
选择索引类型
索引类型是决定资源需求和查询性能的关键因素之一。不同的索引算法对内存、CPU和查询时间的需求不同，支持的索引类型如下表所示。
参数 | 说明 |
HNSW | HNSW（Hierarchical Navigable Small World）是基于图结构的索引，能够提供非常高的查询效率，尤其在高维数据空间中表现出色。但是，它对计算资源和内存的需求较高。适合需要获得最快的查询速度，且资源充足，特别是处理高维度数据的场景。 |
FLAT | 提供最高的查询精度，因为它是精确匹配，但牺牲了查询速度，尤其是在大规模数据集上，性能可能不理想。适合数据量相对较小（例如千万级别），且对查询精度有严格要求，不介意较慢的查询速度的场景。 |
IVF_FLAT | 提供了一种平衡准确率与查询速度的方案，适用于大多数场景。它通过量化操作减少了计算复杂度，相比Flat索引在查询性能上有显著提升，同时资源消耗相对较低。适合需要在查询性能与资源成本间取得平衡，且数据量较大的场景。 |
IVF_SQ8 | 通过量化技术加速检索过程，适合资源受限但需要较高召回率的场景。然而，与HNSW相比，其查询精度可能会有所下降。适合在资源有限且对查询召回率有较高要求的场景，特别是在大规模数据集上的应用。 |
AUTOINDEX | 是Zilliz商业版内核特有的索引类型，能够显著提升搜索性能。与开源Milvus提供的索引类型相比，AUTOINDEX在性能上具有明显优势。基准测试结果显示，在特定数据集上，AUTOINDEX的QPS（每秒查询次数）是其他索引类型的3倍。 |
设置索引参数
HNSW：需设置M值，M决定了每个节点的邻居数量。较大的M值会增加索引的召回率和精度，但同时也会增加索引的构建时间和内存占用。较小的M值则相反，会使得索引构建更快、占用更少的内存，但可能牺牲一些精度。通常，M的推荐初始值为
log(N)，其中N为总的向量数量（在您的案例中为5百万），然后可以根据实际查询效果进行微调。例如，可以尝试设置M为16、32或64，观察效果并进行调整。IVF_FLAT和IVF_SQ8：需设置每个聚类（invert list）中的向量数量，invert list决定了将向量空间划分为多少个子空间（聚类）。较大的invert list值会增加索引的准确性和召回率，但会增加构建索引的时间和查询时的计算成本。较小的invert list则会降低索引的复杂度，但可能导致精度下降。
设置Segment的容量
Segment容量是指索引被划分成的各个小块（Segment）的大小。合理的Segment大小可以平衡查询效率和内存使用：
较大的Segment可以减少索引的元数据量，从而减少内存占用，但可能降低查询时的灵活性和效率，尤其是在更新索引或处理动态数据集时。
较小的Segment有利于快速查询和更新，但可能增加索引的总体内存需求。