1. Dropout 简介与 AlphaFold 中的角色

Dropout，说白了就是在训练时随机「关掉」一部分神经元。每次前向传播都让网络走一条不同的子路径，这样模型就不会死记硬背训练数据里的噪声，泛化能力自然就上去了。

我个人最早接触 Dropout 是在做图像分类的时候，那会儿感觉这招挺暴力的——好好的神经元说扔就扔。但后来发现，正是这种「随机失活」逼着网络学到更鲁棒的特征表示。到了 AlphaFold 这种极端复杂的蛋白结构预测模型里，Dropout 的角色就更微妙了。

1.1 Dropout 的基本原理

复习一下数学形式。对一个输入向量 x，Dropout 的作用是生成一个掩码向量 m，每个元素独立地以概率 p 取 0，以概率 1-p 取 1。然后输出就是 m ⊙ x 再乘以缩放因子 1/(1-p)，保证训练和推理时激活值的期望一致。

嗯，有朋友可能会问：「推理时也要随机丢掉吗？」传统 Dropout 推理时是不丢的，直接用全连接权重乘以 (1-p)。但 AlphaFold 用了另一种玩法——MC Dropout，推理时也保留 Dropout，多次前向传播取平均，顺便估计预测的不确定性。这个后面细讲。

核心参数一览：
  • dropout_rate：每个神经元被丢弃的概率（通常 0.1~0.3）
  • dropout_type：标准 Dropout / 变体如 Spatial Dropout
  • use_mc_dropout：推理时是否启用蒙特卡洛采样

在 AlphaFold 的开源实现里，Dropout 参数藏在模型的配置文件中。我贴一段简化的配置示例，你就能看到它长什么样子：

model_config = {
    "model": {
        "num_recycle": 3,
        "evoformer": {
            "dropout_rate": 0.15,
            "pair_dropout_rate": 0.25
        },
        "structure_module": {
            "dropout_rate": 0.1
        }
    }
}

这里 dropout_rate 控制 Evoformer 块里注意力层和 MLP 层的丢弃概率，pair_dropout_rate 则专用于 pair 表示。我在项目里调优时发现，这两个值稍微差一点，模型收敛速度和最终精度都会变。

1.2 AlphaFold 为什么需要 Dropout

AlphaFold 的参数动辄上亿，而训练数据（已知结构的蛋白质）才 20 万量级。数据跟参数一比，就是个零头。不搞点正则化手段，模型几乎必过拟合。

而且 AlphaFold 不像分类模型，它的输出是高维的 3D 坐标。一旦过拟合，预测的结构就会在训练集上表现完美，但一遇到新序列就乱套。我在一次调优经历中就踩过这个坑：把 Dropout 关了测试，训练损失降到 0.3，但验证集上的 TM-score 反而从 0.85 掉到 0.79。Dropout 就是那根「悬崖边的护栏」。

正则化手段AlphaFold 使用情况我的评价
DropoutEvoformer + Structure Module最常调，效果直接
Weight decay默认 1e-4保守设置，很少动
Recycling 噪声训练时注入随机扰动类似 Dropout 的增强版
Label smoothing预测距离分布时用更偏向输出层

1.3 Dropout 在模型结构中的具体位置

AlphaFold 的完整 pipeline 大致是：输入序列 → 多重序列比对 (MSA) → Evoformer 块（48 个） → 结构模块 (8 个) → 输出坐标。Dropout 几乎插在每一个子层的后面。

拿 Evoformer 举例子，每个块里有 three 个地方加了 Dropout：

  1. MSA 表示上的 row-wise gating + attention 之后：丢弃部分 MSA 行信息，让模型不依赖某一条同源序列。
  2. Pair 表示的三角注意力之后：空间关系编码更鲁棒。
  3. MLP 之后：标准 Dropout，防过拟合。

结构模块的 Dropout 则主要加在 IPA（Invariant Point Attention）层的输出和残差连接的边界上。我记得有一次为了加速训练，想砍掉结构模块的 Dropout，结果验证损失直接震荡。后来才明白：结构模块负责从抽象表示回归到 3D 坐标，对过拟合更敏感。

AlphaFold 中 Dropout 的嵌入位置 输入 (MSA / Pair) Evoformer 块 ×48 注意力 / MLP 后 Dropout (rate=0.15) 结构模块 ×8 IPA / 残差后 Dropout (rate=0.1) 推理：MC Dropout 采样 ×8 → 平均 3D 结构坐标 training 时 Dropout 生效； inference 时可选 MC 策略 dropout_rate 过大会导致 训练不稳定 (我踩过)

1.4 为什么要单独调 Dropout 参数

AlphaFold 官方默认给了 dropout_rate = 0.15（Evoformer）和 0.1（结构模块）。但这个默认值对不同规模的训练数据、不同长度的蛋白质序列，效果差得远。

  • 训练数据少（比如只针对某个同源家族微调）→ Dropout 应该适当加大，0.2~0.3 更稳。
  • 序列很长（>2000 个残基）→ 内部表示维度高，Dropout 过大会让有效信息流失，我建议降低到 0.05~0.1。
  • 使用 MC Dropout 做不确定性估计 → 推理时 Dropout 不要改，但可以增加采样次数（默认 8）。
我的一个小技巧：调参时先固定 Evoformer 的 dropout_rate，单独调结构模块的。结构模块的 Dropout 对最终坐标精度更敏感，而 Evoformer 的 Dropout 影响训练速度多一些。

1.5 关于 MC Dropout 的额外说明

在常规预测场景下，我们直接关闭 Dropout 输出确定结果。但如果你对某个预测的结构信心不足（比如 MSA 深度很浅），可以用 MC Dropout 跑多次，计算坐标方差作为置信度。

具体做法就是在推理时保持 Dropout 开启，跑 N 次前向，然后算平均结构 + 每个原子的空间标准差。标准差大的区域，通常是柔性 loop 区或预测不可靠的位点。我曾在 CASP15 的某个靶标上用这招发现了一段预测与实验差异极大的区域，后来实验证实那段本来就有多种构象。

警告：MC Dropout 不是万能药。如果模型本身过拟合严重，推理时 Dropout 产生的「多样性」全是噪声，而不是有意义的构象空间。先确保训练时的 Dropout 设置合理，再考虑 MC 玩法。

1.6 本章小结（不预告下一章）

Dropout 在 AlphaFold 里不是可有可无的装饰品。它是模型对抗参数爆炸和数据稀疏的第一道防线，也是结构不确定性的信息来源。调好它，你训练的模型会更稳定，预测的结构也更靠谱。

我习惯把 Dropout 的调整放在整个 pipeline 的第一步——先把基础正则化框架搭好，再去折腾注意力头数、回收次数那些花活。如果你也打算上手调优，建议从理解这几个核心参数开始：dropout_rate、pair_dropout_rate、use_mc_dropout。记住，数值不是拍脑袋定的，得跟你的训练数据规模、序列长度挂钩。

← 上一章 📖 返回目录 下一章 →