04 自注意力机制原理：QKV计算与缩放点积的数值稳定性

⭐从矩阵运算到数值灾难：自注意力中的 QKV 推导与 Softmax 溢出根源

自注意力机制原理的验收口径

在《注意力机制信号识别改进项目》中，自注意力机制（Self-Attention Mechanism）是信号特征提取的核心引擎。其数学本质是通过查询（Query）、键（Key）、值（Value）三组矩阵的运算，为输入序列的每个位置动态分配权重。然而，工程实践中一个极易被忽视的陷阱是：当输入信号维度较高或序列较长时，缩放点积（Scaled Dot-Product）后的数值范围会迅速膨胀，直接导致 Softmax 函数的数值溢出（Overflow），使注意力分布退化为 one-hot 或 NaN，彻底破坏模型训练与推理的稳定性。本节将推导 QKV 矩阵运算的全链路，定位 Softmax 溢出的根因，并实现一个数值稳定的自注意力层

⭐QKV 矩阵运算推导：从线性投影到注意力权重

自注意力机制原理（Self-Attention Mechanism Principle）的第一步是将输入序列 X ∈ ℝ^(n×d)（n 为序列长度，d 为嵌入维度）通过三个独立的线性变换映射为 Q、K、V 矩阵：

import torch.nn as nn
class QKVProjection(nn.Module):
    def __init__(self, d_model, d_k):
        super().__init__()
        self.W_q = nn.Linear(d_model, d_k, bias=False)
        self.W_k = nn.Linear(d_model, d_k, bias=False)
        self.W_v = nn.Linear(d_model, d_k, bias=False)
    def forward(self, x):
        Q = self.W_q(x)  # (batch, n, d_k)
        K = self.W_k(x)  # (batch, n, d_k)
        V = self.W_v(x)  # (batch, n, d_k)
        return Q, K, V

阅读这段代码时，重点看自注意力机制原理的伪代码，以及它如何用稳定性与可观测性证明结果可复测。

上述代码中，d_model 是输入特征维度，d_k 是 Q/K 的投影维度。关键点在于：Q 和 K 的维度必须一致，否则无法计算点积。得到 Q、K 后，注意力分数矩阵 S = Q @ K^T，其形状为 (batch, n, n)，每个元素 S_ij 表示第 i 个查询与第 j 个键的相似度

⭐缩放点积的数值稳定性：Softmax 溢出分析与修复

直接对 S 应用 Softmax 会引发数值问题。假设 d_k = 512，Q 和 K 的元素服从标准正态分布，则点积 Q_i · K_j 的方差约为 d_k = 512，标准差约为 22.6。这意味着注意力分数可能高达数百甚至上千。Softmax 的指数函数 e^x 在 x > 710 时（双精度浮点）即溢出为 inf，导致梯度爆炸或 NaN

标准解决方案是引入缩放因子 1/√d_k，将点积方差重新缩放到 1 附近：

import torch
import torch.nn.functional as F
def scaled_dot_product_attention(Q, K, V, mask=None):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / (d_k ** 0.5)  # 缩放
    if mask is not None:
        scores = scores.masked_fill(mask == 0, float('-inf'))
    attn_weights = F.softmax(scores, dim=-1)
    output = torch.matmul(attn_weights, V)
    return output, attn_weights

阅读这段代码时，重点看自注意力机制原理的伪代码，以及它如何用稳定性与可观测性证明结果可复测。

上述代码中，scores / (d_k ** 0.5) 是缩放点积的核心操作。注意：缩放必须在 Softmax 之前执行，否则无法抑制指数爆炸。此外，当存在 padding mask 时，应将 mask 为 0 的位置填充为 -inf，这样 Softmax 后对应位置的权重为 0，避免无效 token 参与注意力计算

数值稳定性验证：对比溢出与稳定版本

以下对比表展示了在 d_k=512、序列长度 n=64 时，未缩放与缩放版本的注意力权重分布差异：

🔍异常信号与处理边界：数值不稳定性的工程排查清单

在自注意力机制的工程实现中，数值不稳定并非只由 Softmax 溢出引起。以下检查清单（Checklist）帮助快速定位问题：

通过本节推导与实现，我们明确了自注意力机制原理（Self-Attention Mechanism Principle）中 QKV 计算的完整链路，并掌握了缩放点积对 Softmax 数值稳定性的决定性作用。在《注意力机制信号识别改进项目》的后续开发中，务必在每一层自注意力中嵌入缩放因子与 mask 处理，这是保证模型可训练性与推理精度的基础工程约束