向量数据库概述：从零理解这个“新物种”

说实话，我第一次接触向量数据库时，心里也犯嘀咕：这不就是个索引工具吗？后来踩了不少坑，才真正理解它为什么能成为AI时代的核心基础设施。今天咱们就把它掰开揉碎了聊清楚。

什么是向量数据库？

简单说，向量数据库就是专门用来存储和检索“向量”的数据库。那向量又是什么？你可以把它想象成一组数字，用来描述某个事物的特征。比如一张猫的图片，经过模型处理后，会变成一个几百甚至上千维的向量——每个维度代表一种特征，比如耳朵形状、毛色、眼睛大小等等。

我习惯这样理解：传统数据库存的是“是什么”（结构化数据），向量数据库存的是“像什么”（语义相似度）。举个例子，你在电商平台搜“红色连衣裙”，传统数据库会精确匹配关键词；而向量数据库会理解你的意图，把“酒红色长裙”“暗红收腰裙”也一并推给你——因为它知道这些向量在语义空间里离得很近。

为什么需要向量数据库？

你可能会问：用传统数据库存向量不行吗？嗯，我试过。几年前做推荐系统时，我把用户和商品的embedding直接塞进MySQL，然后暴力计算余弦相似度。结果呢？100万条数据，一次查询要好几秒，根本没法上线。

问题出在三个地方：

• 维度灾难：向量维度越高（比如768维、1024维），传统B-Tree索引越失效。说白了，高维空间里“距离”这个概念变得很诡异，所有点都像离得差不多远。
• 计算效率：暴力计算相似度是O(n²)的复杂度。数据量一上来，CPU直接冒烟。
• 语义理解：传统数据库只能做精确匹配或模糊查询，无法理解“猫”和“布偶猫”在语义上是相近的。

向量数据库就是为解决这些问题而生的。它用专门的索引结构（比如HNSW、IVF）把搜索复杂度降到O(log n)甚至O(1)，同时支持语义级别的检索。

与传统数据库的对比

为了让你更直观地理解差异，我整理了一张对比表。这张表我反复改过好几版，都是实际项目中踩过的坑。

维度	传统数据库（MySQL/PostgreSQL）	向量数据库（Milvus/Pinecone）
数据模型	结构化数据（行、列、表）	高维向量 + 标量属性
查询方式	精确匹配、范围查询、JOIN	近似最近邻搜索（ANN）
索引结构	B-Tree、Hash索引	HNSW、IVF、PQ、DiskANN
相似度计算	不支持（需自己写UDF）	内置余弦相似度、欧氏距离、内积
扩展性	垂直扩展为主，分库分表复杂	原生分布式，水平扩展
典型场景	订单系统、用户管理、财务	语义搜索、推荐、RAG、去重

你看，两者其实是互补关系。我现在的做法是：业务数据放MySQL，向量数据放Milvus，中间用ID关联。这样既保证了事务一致性，又拿到了语义搜索的能力。

主流产品介绍

市面上向量数据库产品不少，我挑四个最有代表性的聊聊。每个我都亲手用过，有些还踩过坑。

Milvus

开源界的扛把子，也是我个人最常用的。它由Zilliz公司开发，社区非常活跃。Milvus支持多种索引类型（HNSW、IVF_FLAT、IVF_PQ等），而且有完整的分布式架构——分片、副本、负载均衡都内置了。

• 优点：功能全面、性能强悍、社区文档丰富
• 缺点：部署相对复杂（依赖etcd、MinIO等组件）
• 适合：对性能要求高、愿意投入运维成本的中大型项目

Pinecone

全托管的云服务，开箱即用。我记得第一次用Pinecone时，注册完直接拿到，5分钟就完成了向量插入和搜索。它把底层运维全封装了，你只管传向量、查向量。

• 优点：零运维、自动扩缩容、延迟稳定
• 缺点：贵（按量计费，数据量大时成本飙升）、不开源
• 适合：快速验证原型、小团队、不想碰运维的场景

Qdrant

用Rust写的开源向量数据库，性能非常亮眼。我去年在一个实时去重项目里用过Qdrant，单机就能扛住每秒几千次的写入和查询。它的过滤功能也很强，支持在向量搜索的同时做标量过滤。

• 优点：性能高、内存占用低、过滤能力强
• 缺点：生态不如Milvus成熟、分布式功能还在完善
• 适合：对延迟敏感、需要高吞吐的实时场景

Weaviate

一个很有意思的产品，它把向量数据库和知识图谱结合起来了。Weaviate内置了向量化模块，你甚至可以直接传文本或图片，它会自动调用模型生成向量。我有个朋友用它做企业知识库，效果不错。

• 优点：内置向量化、支持GraphQL、模块化设计
• 缺点：自定义程度不如Milvus、社区相对小
• 适合：希望“开箱即用”且需要语义理解的项目

知识体系总览

为了让你对本章内容有个整体印象，我画了一张结构图。它把向量数据库的核心概念、技术栈和应用场景串在了一起。

这张图把本章的核心脉络理清了。你看，向量数据库不是凭空冒出来的，它是在AI应用对语义搜索需求爆发时，从传统数据库和搜索引擎的夹缝中长出来的新物种。理解了这些基础，后面咱们聊测试评估集时，你才知道该测什么、怎么测。