4. 图注意力网络与多头注意力

前面我们聊了图卷积网络，它那种「一视同仁」的消息传递方式，在有些场景下确实够用。但你想想看，现实世界中的分子结构，每个原子对药物活性的贡献能一样吗？一个苯环上的碳，和一个羰基上的碳，重要性天差地别。

图注意力机制，说白了就是给每个邻居打一个分。重要的邻居多听一点，不重要的邻居少听一点。这个思路我很早就在做分子性质预测时用过，那时候还是手工算权重，效果嘛...只能说聊胜于无。直到图注意力网络出来，我才觉得这事算是被正规化了。

4.1 为什么需要注意力？

先看一个问题。我拿到一个分子图，想要预测它的水溶性。分子里有极性基团，也有疏水烷基链。你希望模型在聚合原子信息时，给氧原子和氮原子更高的权重，还是给碳原子更高的权重？

答案取决于具体任务。但GCN做不到动态调整，它用度矩阵归一化后，所有邻居的权重就固定了。这不合理。

图注意力网络（GAT）解决了这个问题。它让每个节点在聚合邻居信息时，自己去学习邻居的重要性。我在一次USPTO的反应预测任务中试过这个思路，GAT比GCN的Top-5准确率提升了大概6个点，效果非常直接。

4.2 注意力系数的计算

GAT的核心，是一个前馈神经网络，叫做注意力机制。它会计算节点i和它的邻居j之间的注意力系数。这个系数表示，节点i在更新自己表示时，应该给节点j多大的关注度。

我画了一个简单的流程图，帮你理解整个计算过程：

具体公式是这样的。先通过共享的权重矩阵W，把原始特征h_i和h_j映射到一个可比较的空间。然后计算一个注意力得分：

e_ij = LeakyReLU( a^T · [ Wh_i || Wh_j ] )

其中 || 表示向量拼接。a 是一个可学习的注意力向量，通常被叫成注意力参数。LeakyReLU的斜率可以设0.2，这是GAT论文里的常见选择。

得到原始得分后，用softmax做归一化。这样所有邻居的注意力系数加起来就等于1：

α_ij = softmax_j(e_ij) = exp(e_ij) / Σ_{k∈N(i)} exp(e_ik)

最后，用归一化后的系数去加权聚合邻居信息：

h_i' = σ( Σ_{j∈N(i)} α_ij · W h_j )

4.3 多头注意力：让模型更稳健

单头注意力容易学到「偏科」的模式。就像你让一个化合物专家做预测，他可能只盯着疏水作用，忽略了氢键。但如果你找10个专家投票，结果就稳健多了。

多头注意力就是干这个的。它有K个独立的注意力头，每个头学自己的注意力分配。最后要么拼接起来，要么取平均。

在中间层，通常用拼接：

h_i' = ||_{k=1}^{K} σ( Σ_{j∈N(i)} α_ij^k · W^k h_j )

在最后一层，改用平均：

h_i' = σ( 1/K · Σ_{k=1}^{K} Σ_{j∈N(i)} α_ij^k · W^k h_j )

我建议你在做QSAR预测时，头数K设8到16之间。太多头容易过拟合，太少头又不够稳。有一次我在一个激酶活性数据集上做实验，8头比4头的AUC高出了3.5%，但16头反而掉了一点，因为小数据集扛不住那么多参数。

4.4 代码实现：从头搭建GAT层

我用PyTorch实现了一个简单的GAT层。为了让你看懂核心逻辑，我省略了一些工程细节：

import torch
import torch.nn as nn
import torch.nn.functional as F

class GATLayer(nn.Module):
    def __init__(self, in_dim, out_dim, dropout=0.6, alpha=0.2):
        super().__init__()
        self.W = nn.Linear(in_dim, out_dim, bias=False)
        self.a = nn.Parameter(torch.zeros(1, 2 * out_dim))
        nn.init.xavier_uniform_(self.a)
        self.dropout = nn.Dropout(dropout)
        self.leaky_relu = nn.LeakyReLU(alpha)

    def forward(self, h, adj):
        # h: [N, in_dim], adj: [N, N]
        Wh = self.W(h)                    # [N, out_dim]
        N = Wh.size(0)

        # 构造所有节点对的拼接：Wh_i || Wh_j
        Wh_i = Wh.unsqueeze(1).expand(-1, N, -1)   # [N, N, out_dim]
        Wh_j = Wh.unsqueeze(0).expand(N, -1, -1)   # [N, N, out_dim]
        pair = torch.cat([Wh_i, Wh_j], dim=-1)     # [N, N, 2*out_dim]

        # 计算注意力得分
        e = self.leaky_relu((pair @ self.a.T).squeeze(-1))  # [N, N]

        # 用adj做掩码：只保留有边的节点对
        e = e.masked_fill(adj == 0, float('-inf'))
        alpha = F.softmax(e, dim=-1)               # [N, N]
        alpha = self.dropout(alpha)

        # 加权聚合
        h_out = alpha @ Wh                         # [N, out_dim]
        return h_out

4.5 GAT在QSAR中的优势

和GCN相比，GAT在分子性质预测上有几个明显的好处：

对比维度	GCN	GAT
邻居权重	固定，由度决定	可学习，任务自适应
解释性	低，看不到哪些原子重要	高，可以可视化注意力权重
对噪声的鲁棒性	一般	好，可以忽略无关邻居
计算开销	低	中等（需额外计算注意力）
小样本场景	容易欠拟合	更容易过拟合，需正则化

我在一个药物-靶标亲和力预测任务中做过对比。用同样的特征和训练配置，GAT的RMSE比GCN低了0.12 log单位。更重要的是，我可以把注意力权重映射回分子结构上，看模型认为哪个官能团最关键。嗯，很多时候和药物化学家的直觉是对得上的。

但也有翻车的时候。我记得有一次预测一个含氟化合物的毒性，模型注意力全放在了氟原子上，但实际毒性来自旁边的硝基。后来发现是数据集分布偏了，含氟的样本大多有硝基。这个教训让我养成了一个习惯：训练完一定随机抽几个样本，把注意力热图画出来人工检查一遍。

4.6 避坑指南与参数调优

我总结了几条GAT在实际项目中的注意事项：

• LeakyReLU的alpha值：默认0.2一般够用。但如果你发现梯度不稳定，可以试着调小到0.1。有一次我把alpha改到0.01，训练直接不收敛了，因为负半区梯度太小，信息传不过去。
• 头数选择：8头是个不错的起点。如果你的分子图很大（比如蛋白配体复合物），可以适当减少头数节省显存。我的经验是，头数不要超过特征维度的三分之一，否则每个头分配到的维度太少，学不到有意义的模式。
• 残差连接：深层GAT一定要加残差。我在4层GAT里试过不加残差，训练loss死活降不下去。加了的版本，收敛速度提升了近一倍。
• 注意力可视化：训练完后，把每层的注意力系数画成热力图。如果第一层注意力全集中在某个原子上，说明模型偷懒了，可能特征没传进去。