3. 对齐问题定义：特征对齐的数学形式化、度量学习视角、对比学习视角

好，咱们进入正题。多模态特征对齐，说白了就是让不同模态的数据在同一个特征空间里「对上话」。我刚开始接触这个方向时，总觉得这问题很玄乎——图像和文本，一个像素一个符号，怎么就能对齐呢？后来才发现，这事儿其实有非常清晰的数学框架。

3.1 特征对齐的数学形式化

先给个最朴素的定义。假设我们有两组特征：
图像特征 v ∈ ℝᵈ，文本特征 t ∈ ℝᵈ。
对齐的目标是找到一个映射函数，让语义相似的 (v, t) 对在空间里距离近，不相似的远。

用数学语言说，就是：

给定数据集 D = {(v_i, t_i, y_i)}，其中 y_i ∈ {0,1} 表示是否对齐。
学习映射 f_v: ℝᵈ → ℝᵏ 和 f_t: ℝᵈ → ℝᵏ，
使得对于任意 (v_i, t_i)：
  - 若 y_i = 1，则 ||f_v(v_i) - f_t(t_i)||² 尽量小
  - 若 y_i = 0，则 ||f_v(v_i) - f_t(t_i)||² 尽量大

嗯，这里要注意：k 是公共空间的维度，一般选 128、256 或 512。我做过实验，k 太小会丢失信息，太大又容易过拟合。实践中 256 是个不错的起点。

L_align = Σ_{(v,t)∈正样本对} ||f_v(v) - f_t(t)||² 
         - Σ_{(v,t)∈负样本对} ||f_v(v) - f_t(t)||² + margin

3.2 度量学习视角

从度量学习的角度看，特征对齐本质上是在学一个「跨模态距离函数」。我个人习惯把这个问题拆成三步：

1. 定义距离度量：欧氏距离、余弦距离、马氏距离……选哪个？
2. 构造正负样本：哪些对应该近，哪些应该远？
3. 设计损失函数：怎么让模型学会这个距离？

我在项目中遇到过最头疼的问题就是负样本构造。随便选负样本吧，模型学到的全是 trivial 的区分——比如「图像里有猫 vs 文本里没猫」这种低级特征。后来我用了 hard negative mining，专门挑那些看起来很像但实际不对齐的样本，效果立竿见影。

3.3 对比学习视角

对比学习这几年火得不行。说白了，它和度量学习是一脉相承的，但更强调「在对比中学习表征」。你想想看，CLIP 为什么那么强？就是因为它把对比学习用到了极致。

对比学习的核心公式是 InfoNCE Loss：

L_InfoNCE = -log( exp(sim(v_i, t_i)/τ) / Σ_{j=1}^{N} exp(sim(v_i, t_j)/τ) )

其中 sim(·,·) 是余弦相似度，τ 是温度系数。这个公式的直观理解是：让正样本对的相似度尽可能大，同时让所有负样本对的相似度尽可能小。

我刚开始用 InfoNCE 时犯过一个低级错误——温度系数 τ 设成了 1.0，结果 loss 降不下去。后来查资料才发现，τ 一般设 0.07 左右。为什么？因为 τ 控制了分布的「尖锐程度」：

• τ 太大 → 所有样本的相似度都差不多，模型学不到区分性
• τ 太小 → 模型只关注最难的负样本，训练不稳定

嗯，这里有个经验值：batch size 越大，τ 可以设得越小。我习惯在 batch size=256 时用 τ=0.07，batch size=1024 时用 τ=0.05。

3.4 三种视角的统一框架

你可能会问：这三种视角到底有什么区别？其实它们本质上是同一个问题的不同表述。我画了张图来展示它们的关系：

你看，这三种视角其实是从不同角度回答同一个问题：

• 数学形式化：告诉你「对齐」的数学本质是什么
• 度量学习：告诉你「怎么构造训练信号」
• 对比学习：告诉你「怎么在大规模数据上高效训练」

我个人习惯在实际项目中这样选：如果数据量小（<10万对），用度量学习 + hard negative mining；如果数据量大（百万级以上），直接上对比学习 + InfoNCE。中间地带？可以试试混合方案——先用对比学习预训练，再用度量学习微调。