MSA基础：什么是多头自注意力机制及其在特征提取中的作用
说起多头自注意力，得先聊聊它爹——注意力机制。我记得刚接触 Transformer 那会儿，总觉得「注意力」这词太玄乎。说白了，就是让模型在计算某个位置的时候，能主动去看其他位置，根据相关性加权融合信息。
那多头又是怎么回事？你想想看，一个脑袋看东西总有盲区。我习惯把单头注意力比作戴了一副固定焦点的眼镜——只能在一个子空间里找关系。多头就是让模型同时戴上好几副不同焦距的眼镜，从多个角度捕捉特征。这就是 MSA 的核心思路。
从单头到多头：为什么需要「多」？
先看单头自注意力的公式（你肯定见过）：
Attention(Q,K,V) = softmax(QK^T / √d_k) V这里 Q、K、V 是从同一个输入线性投影出来的。模型只能在一组投影空间里计算相关性。我曾在一次文本分类项目里只用单头，结果模型对近义词的区分特别差。后来换成多头，效果立马好了不少。为什么会这样？因为单头把所有的语义关系揉在一起，而多头让不同头关注不同维度的特征——有的负责语法，有的负责语义，有的负责位置。互不干扰。
多头自注意力的完整计算流程：
MultiHead(Q,K,V) = Concat(head_1,...,head_h) W^O
其中 head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)每个头有自己的投影矩阵 W_i^Q、W_i^K、W_i^V。最后把所有头的输出拼起来，再过一层线性变换 W^O。这个 W^O 在我看来特别重要——它负责把多头学到的信息融合成一个统一的表示。
多头机制在特征提取中到底干了什么？
你可以把 MSA 看作一个特征提取器，它干三件事：
- 特征分解：将输入投影到 h 个不同的子空间，每个子空间只负责提取某类特征。
- 关系建模：在每个子空间内独立计算自注意力，捕获该维度下的长距离依赖。
- 特征重组：拼接所有头的输出，通过可学习的组合权重生成最终特征。
我习惯用一个表格对比单头和多头：
| 特性 | 单头注意力 | 多头自注意力 |
|---|---|---|
| 投影空间数量 | 1 组 (Q,K,V) | h 组，每组独立 |
| 特征捕获维度 | 单一子空间 | 多个子空间 |
| 参数量 | 少（3d×d） | 多（h×3d_h×d + d×d) |
| 并行性 | 可以并行 | 头间完全并行 |
| 典型适用场景 | 简单序列建模 | 复杂特征提取 |
核心结论：MSA 通过「分而治之」策略，让模型同时学到不同类型的特征关系，这是它比单头强的地方。
我在实战中踩过的坑
我曾经调一个图像分类模型，把多头数设成了 32，特征维度 1024。结果训练速度奇慢，显存直接爆了。后来一分析，每个头只分到 32 维（1024/32），信息密度太低，效果还不如 8 个头。嗯，这里要注意：头数和每个头的维度要平衡。我现在的经验是，头维度控制在 64~128 之间比较稳，头数一般取 8 或 12。
避坑指南：我曾经试过在多头注意力后不加残差连接，结果深层梯度全消失了。记住，MSA 后面一定要跟残差和 LayerNorm，这是 Transformer 能深下去的关键。
还有一点容易被忽视——不同的头不一定都重要。我在项目里经常把各个头的注意力矩阵可视化，发现有的头学到的模式非常清晰（比如对角线的局部注意力），有的头完全就是噪声。这时候可以考虑剪枝掉不重要的头，既能提速又不损失精度。具体剪哪些头，可以看头的注意力熵——熵越低代表越聚焦。
一点体会：我个人建议在实现 MSA 时，先把单头调通，再加头数。这样你能看清楚每增加一个头到底贡献了什么。不要一上来就搞 16 个头，调试起来容易懵。
好了，MSA 的基础就聊到这儿。你记住一句话：多头自注意力的本质就是「多视角特征提取器」，每个头在一个独立子空间里干活，最后合起来就是一张完整的特征图。