3. 相似检索原理

在Milvus向量数据库的检索链路中，最核心的引擎是相似性搜索算法。当我们面对海量非结构化数据（如文本、图像、音视频特征向量）时，如何快速找到与查询向量最相似的Top-K个结果，直接决定了系统的响应延迟与业务体验。本章将深入剖析精确检索（KNN）与近似检索（ANN）的数学本质、工程实现差异，并重点讲解召回率、QPS、延迟等关键性能指标的权衡逻辑，帮助你在实际项目中做出正确的算法选型。

3.1 核心原理：从暴力扫描到索引剪枝

KNN（K-Nearest Neighbors）是相似检索的数学基准。其原理极为朴素：给定查询向量q，逐一计算q与数据库中所有N个向量的距离（欧氏距离、余弦相似度或内积），然后排序取前K个最小距离的结果。这种方法的正确性毋庸置疑，但计算复杂度为O(N×D)，其中D为向量维度。当N达到千万级、D为768（如BERT嵌入）时，单次查询需要执行约76亿次浮点运算，在普通CPU上耗时超过100毫秒，完全无法满足在线业务需求。

ANN（Approximate Nearest Neighbor）则通过构建空间索引来牺牲少量精度换取数量级的性能提升。其核心思想是：在离线阶段对向量集合进行预处理，构建树形结构（如HNSW的跳表图）、倒排列表（IVF的聚类中心）或乘积量化码本（PQ），将高维空间划分为可快速定位的区域。在线查询时，算法只访问与查询向量相关的局部区域，而非全量扫描。以Milvus最常用的HNSW（Hierarchical Navigable Small World）索引为例，它构建了多层图结构，顶层稀疏连接用于快速定位，底层密集连接用于精细搜索，查询复杂度可降至O(log N)。

3.2 判断方法：如何选择索引类型与参数

在实际项目中，选择KNN还是ANN，以及ANN的具体索引类型，需要依据数据规模、查询模式、硬件资源三个维度综合判断。以下是Milvus 2.x中常见的索引选型决策流程：

1. 数据量评估：若向量总数小于10万且维度低于128，可直接使用FLAT索引（即KNN暴力扫描），此时延迟仍在可接受范围（<10ms）。若超过10万，必须使用ANN索引。
2. 查询延迟目标：如果业务要求P99延迟小于20ms，优先考虑HNSW（图索引）或IVF_FLAT（倒排索引）。如果允许50ms以上延迟且追求更高召回率，可选用IVF_SQ8或IVF_PQ（量化压缩）。
3. 内存预算：HNSW索引需要额外存储图的连接关系，内存开销约为原始向量的1.2~1.5倍；IVF_PQ通过量化将向量压缩为1/4~1/32大小，适合内存受限的场景。
4. 召回率验证：在选定索引后，使用测试集计算Recall@K。若召回率低于95%，可调整HNSW的efConstruction（构建时图密度）和M（最大连接度），或增加IVF的nlist（聚类中心数）。

3.3 案例拆解：电商以图搜图的索引调优实战

某电商平台构建了以图搜图系统，向量库包含5000万张商品图片的CLIP特征向量（维度512）。初始阶段使用IVF_FLAT索引（nlist=4096），线上P99延迟为35ms，但召回率仅91%，导致搜索结果中经常出现不相关商品。业务方要求召回率不低于97%，同时P99延迟控制在30ms以内。

分析过程：通过Milvus的监控面板发现，延迟主要消耗在倒排列表的遍历阶段——nlist=4096意味着每个列表平均包含约1.2万个向量，查询时需要扫描多个列表。召回率不足则是因为聚类中心数量不足，导致部分相似向量被划分到不同簇中。

优化操作：首先将索引切换为HNSW（M=32, efConstruction=200），召回率提升至98.5%，但P99延迟飙升至60ms，原因是图索引在512维高维空间中的连接路径较长。随后调整参数：M=16, efConstruction=100，并将查询时ef参数设为64，最终P99延迟降至28ms，召回率稳定在97.2%。同时，将索引构建时的num_threads设为16，构建时间从4小时缩短至1.5小时。

结果对比：优化后系统QPS从800提升至2200，召回率满足业务要求。复盘发现，HNSW在高维数据中比IVF_FLAT更具优势，但需要精细调节M和ef参数。若内存允许，还可考虑使用HNSW_SQ8（量化版）进一步降低内存占用。

3.4 常见误区与总结复盘

误区一：认为召回率越高越好。实际上，召回率与延迟、内存呈强相关。在Milvus中，将召回率从99%提升至99.9%可能需要增加3倍的内存和2倍延迟，而业务收益微乎其微。建议根据业务场景设定“可接受的最低召回率”，例如推荐系统通常95%即可，而人脸识别门禁系统可能需要99.5%以上。

误区二：忽略数据分布对索引的影响。IVF索引假设数据均匀分布，如果实际数据存在严重聚类（如某些类别的商品图片特别多），会导致倒排列表长度严重不均，查询时出现“长尾延迟”。此时应改用HNSW或增加nlist值。

误区三：混淆“召回率”与“准确率”。在向量检索中，召回率衡量的是ANN结果与KNN真实结果的交集比例，而非分类任务的准确率。例如，KNN返回的Top-10中，ANN只返回了其中8个，则Recall@10=0.8。这8个结果本身可能都是正确的，但漏掉了2个。

总结：KNN与ANN的本质是“精度-性能”的帕累托权衡。在Milvus中，FLAT索引提供了KNN基准，而IVF、HNSW、PQ等ANN索引则提供了不同维度的折中方案。选型时需遵循“数据量决定算法类别，延迟目标决定索引类型，内存预算决定量化策略”的原则。建议在项目初期建立包含召回率、QPS、P99延迟、内存占用的四维评估矩阵，通过A/B测试确定最优配置。