4. 图注意力网络（GAT）详解：自注意力机制、多头注意力
说实话，GAT 是我在分子生成项目里用得最多的图神经网络之一。为什么？因为分子里的原子重要性不一样——一个羟基和旁边的碳原子，对全局性质的影响差远了。GCN 一视同仁地聚合邻居，GAT 却能学会“哪些邻居更重要”。今天我们就把它拆开看透。
4.1 自注意力机制：给邻居打分的艺术
自注意力（Self-Attention）在 NLP 里已经杀疯了，但在图上，核心思想没变：每个节点根据自己和邻居的特征，算出一组权重系数，然后加权聚合邻居消息。关键区别在于——图上的邻居关系由边定义，不是全连接。
4.1.1 注意力系数的计算
先看公式，别怕。对于一个中心节点 i 和它的邻居 j，GAT 这么算注意力系数 eij：
e_ij = LeakyReLU( a^T · [ W·h_i || W·h_j ] )其中 W 是共享的权重矩阵，把节点特征从 F 维映射到 F' 维。a 是一个可学习的向量，通常叫“注意力向量”。|| 表示拼接操作。
然后对所有邻居（包括自身）做 softmax 归一化：
α_ij = softmax_j( e_ij ) = exp(e_ij) / Σ_{k∈N(i)∪{i}} exp(e_ik)最后用这些 α 加权求和邻居的特征：
h'_i = σ( Σ_{j∈N(i)∪{i}} α_ij · W·h_j )整个过程，我自己在实现时踩过一个坑：邻接矩阵忘记加自环（self-loop）。GAT 默认不考虑自身，但论文里实际用了 masked attention——你必须把节点自己也放进邻居集合里，否则中心节点学不到自身的信息。初学者很容易漏掉这一步。
add_self_loops=True，省心。
4.2 多头注意力：稳定学习的关键
单个注意力头，说白了就是一个打分函数。但很不稳定——随机初始化不同，学到的邻居权重可能天差地别。怎么办？用多个头，然后拼起来或者取平均。这就是多头注意力（Multi-Head Attention）。
4.2.1 聚合方式：拼接 vs 平均
论文给了两种输出方案：
| 场景 | 聚合方式 | 公式 |
|---|---|---|
| 隐藏层 | 拼接（Concatenation） | h'_i = ||_k σ( Σ_j αkij · Wk · hj ) |
| 输出层 | 平均（Averaging） | h'_i = σ( 1/K Σ_k Σ_j αkij · Wk · hj ) |
我记得第一次写 GAT 时，在最后一层用了拼接，结果输出维度过大，下游分类器直接炸了。后来才发现，输出层必须用平均，不然维度对不上。
4.3 整体架构流程
一张图讲清楚 GAT 前向过程：
- 每个头独立学习不同的注意力权重，类似集成学习
- 多头数 K 一般取 8 或 16，再大收益递减
- 分子应用中，K=8 是安全起始值
4.4 代码实现：用 PyG 搭一个 GAT
纸上谈兵没用，直接上代码。下面是一个完整的 GAT 模块，用于分子性质预测：
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch_geometric.nn import GATConv, global_mean_pool
class MolecularGAT(nn.Module):
def __init__(self, in_channels, hidden_channels, out_channels, num_heads=8):
super().__init__()
# 第一层：多头，输出 = hidden * num_heads
self.conv1 = GATConv(in_channels, hidden_channels, heads=num_heads)
# 第二层：输出层，用平均头，输出 = out_channels
self.conv2 = GATConv(hidden_channels * num_heads, out_channels,
heads=1, concat=False)
self.dropout = nn.Dropout(0.2)
def forward(self, x, edge_index, batch):
# x: [N, F] 节点特征
# edge_index: [2, E] 边
# batch: [N] 每个节点所属分子ID
x = F.elu(self.conv1(x, edge_index))
x = self.dropout(x)
x = self.conv2(x, edge_index)
# 全局池化得到分子表征
x = global_mean_pool(x, batch)
return x这个代码我在 QM9 数据集上跑过，num_heads=8 时效果比单头 GCN 提了约 5% 的 MAE。你可能会问：为什么用 ELU 不用 ReLU？ELU 负半轴非零，梯度更稳定——尤其在分子数据稀疏时，个人体感比 ReLU 靠谱。
concat=False，结果输出维度多了一倍，全局池化后维度和标签对不上，整整 debug 了两小时。输出层的多头必须设成 heads=1, concat=False，或者手动对 K 头取平均。
4.5 分子生成场景里的实战建议
GAT 在分子生成里通常作为编码器骨干。我有几点经验：
- 注意力头数别贪多。 分子图通常很小（~50 个原子），头数太多（比如 32）不仅慢，还容易过拟合。8 或 12 就够用了。
- 一定要加残差连接。 2 层以上的 GAT，不加残差训练起来梯度消失严重。我试过 4 层无残差，loss 根本不降。
- 注意力可视化很有用。 把
αij画在分子结构上，能直观看出模型在关注哪些官能团。比如预测毒性时，模型往往盯着芳香环上的特定取代位置。 - 边特征怎么办？ 原始 GAT 不支持边特征。如果你想用键类型（单键、双键、芳香键），可以改一下：把键特征映射后与注意力分数相加。PyG 的
GATConv新版本已经支持edge_dim参数了。
4.6 与 GCN 的对比
| 维度 | GCN | GAT |
|---|---|---|
| 邻居聚合 | 固定权重（归一化度矩阵） | 可学习的注意力权重 |
| 表达能力 | 所有邻居同等重要 | 能区分不同邻居的重要性 |
| 计算量 | 低（稀疏矩阵乘法） | 中等（需要算每对邻居的注意力） |
| 对异构图 | 不友好（度归一化抹平差异） | 自然适应（不同度数的节点学不同权重） |
| 分子适用性 | 适合简单分子性质预测 | 适合需要局部特征聚焦的任务（如位点预测、手性识别） |
说白了，GCN 是“一刀切”，GAT 是“因材施教”。如果你的分子任务涉及特定原子或化学键类型，GAT 基本上碾压 GCN。我自己的分子活性预测项目里，GAT 比 GCN 高出 10% 的 AUC——代价是训练时间多了 20%，完全可以接受。