1. 向量数据基础：从零开始理解非结构化数据的“坐标”

各位同学，咱们今天聊向量数据。说实话，我第一次接触这个概念时，也觉得挺玄乎的。什么叫“向量”？不就是数学课上的箭头吗？后来在项目中真正用起来才发现——向量数据，说白了就是把现实世界里的东西，变成计算机能理解的“坐标”。

你想想看，文字、图片、音频这些非结构化数据，计算机没法直接理解。但如果我们能把这些东西映射到一个高维空间里，每个点都有一个坐标，那计算机就能算距离、找相似、做聚类了。这个坐标，就是向量。

1.1 什么是向量数据？

我习惯用一个例子来解释。假设你有一堆水果：苹果、香蕉、橙子。你可以用两个维度来描述它们：甜度和酸度。苹果甜度7、酸度3，香蕉甜度9、酸度1，橙子甜度5、酸度8。那么这三个水果就变成了三个二维向量：[7,3]、[9,1]、[5,8]。

真实场景中，维度远不止两个。比如一个文本向量可能有768维、1024维甚至更高。每个维度代表一个潜在特征——可能是语义、语法、情感倾向等等。这些特征不是我们手动定义的，而是模型自动学习出来的。

数据类型	原始形式	向量化后	常见维度
文本	“今天天气真好”	[0.23, -0.45, 0.67, ...]	384 / 768 / 1024
图片	1920×1080 像素	[0.12, 0.89, -0.33, ...]	512 / 2048
音频	WAV 波形文件	[-0.01, 0.05, 0.02, ...]	128 / 256
用户行为	点击序列日志	[0.78, 0.34, -0.56, ...]	64 / 128

1.2 向量数据库简介

有了向量数据，怎么存？怎么查？传统的关系型数据库（MySQL、PostgreSQL）擅长精确匹配，但向量检索要的是“近似最近邻”（ANN）——找最相似的，不是完全相等的。

向量数据库就是专门干这个的。它用特殊的索引结构（比如HNSW、IVF、PQ）来加速相似度搜索。我最早用Faiss做向量检索，后来项目规模大了，才切换到专门的向量数据库。

目前主流的向量数据库有这些：

• Milvus：开源、云原生、支持分布式，适合大规模生产环境。我在一个千万级商品推荐项目里用过，稳定性和性能都不错。
• Pinecone：全托管SaaS，上手快，适合快速验证。但价格不便宜，小团队慎用。
• Qdrant：Rust编写，性能强悍，支持过滤+向量混合检索。我个人比较喜欢它的API设计。
• Weaviate：自带向量化模块，可以跟、Cohere等模型集成。适合不想自己管Embedding流程的团队。
• Chroma：轻量级，适合原型开发和本地测试。我经常用它做Demo。

1.3 向量化与嵌入（Embedding）概念

嵌入（Embedding）这个词，听起来高大上，其实本质就是“映射”。把原始数据映射到一个低维（相对原始空间而言）的连续向量空间中。这个映射过程，就是向量化。

为什么叫“嵌入”？因为原始数据在高维空间里是稀疏的、离散的，而嵌入后的向量在低维空间里是稠密的、连续的。相当于把数据“嵌入”到了一个更紧凑的表示空间里。

常用的嵌入模型：

• 文本嵌入：的text-embedding-ada-002（1536维）、Sentence-BERT（384维）、BGE系列（国产，效果不错）
• 图像嵌入：CLIP（，图文对齐）、ResNet系列、ViT
• 多模态嵌入：CLIP、ImageBind（Meta）、BLIP-2

下面是一个简单的文本嵌入示例，用Sentence-BERT把句子转成向量：

from sentence_transformers import SentenceTransformer

# 加载模型（我习惯用all-MiniLM-L6-v2，速度快，效果够用）
model = SentenceTransformer('all-MiniLM-L6-v2')

# 待向量化的文本
sentences = [
    "向量数据清洗是数据科学的重要环节",
    "嵌入技术让非结构化数据变得可计算",
    "今天天气真好，适合出去散步"
]

# 生成向量（输出是numpy数组）
embeddings = model.encode(sentences)

print(f"向量维度: {embeddings.shape[1]}")  # 输出: 384
print(f"第一个向量前5个值: {embeddings[0][:5]}")
# 输出类似: [ 0.0234, -0.4567,  0.8912, -0.1234,  0.5678]

1.4 应用场景概览

向量数据的应用场景，这几年爆发式增长。我简单列几个最常见的：

• 语义搜索：不是关键词匹配，而是理解你的意图。比如搜“能跑马拉松的鞋”，返回的是跑鞋，不是马拉松比赛信息。
• 推荐系统：用户向量和物品向量做相似度匹配。我在电商项目里用过，点击率提升了15%以上。
• RAG（检索增强生成）：大模型+向量数据库，先检索相关文档，再让大模型生成答案。这是目前最火的LLM落地方式。
• 异常检测：正常行为的向量聚在一起，异常行为的向量离群。我在金融风控项目里用过，效果比传统规则好很多。
• 图像/视频检索：以图搜图、以视频片段搜完整视频。抖音、Pinterest都在用。
• 去重与聚类：计算向量相似度，找出重复内容或自动分组。

下面这张图，是我自己总结的向量数据处理全流程框架，咱们这门课就是按照这个逻辑展开的：

嗯，这张图基本概括了咱们这门课要讲的内容。从数据源开始，经过嵌入模型变成向量数据，然后进入清洗与预处理环节——这是最容易被忽视但影响最大的步骤。最后才是存储和检索。

很多初学者一上来就研究各种向量数据库的索引参数，结果数据质量不行，检索效果一塌糊涂。我见过太多这样的案例了。数据清洗和预处理，才是向量数据库项目成功的关键。这也是为什么我要专门开这门课的原因。