第4章 Dropout与过拟合

过拟合这问题，做深度学习的基本都碰过。模型在训练集上表现完美，一上验证集就崩，损失直接飙升。我刚开始做项目时也栽过跟头，调了一个星期的网络，训练损失降到0.01，心里美滋滋，结果验证集准确率只有60%。后来才发现，模型把训练数据的噪声和标签错误都记住了，完全没学到通用的特征。

Dropout就是专门用来对付这个问题的。说白了，它在训练时随机丢掉一些神经元，强迫网络不能过度依赖某个特征。今天我们就来仔细拆解一下过拟合的成因，以及Dropout到底是怎么起作用的。

过拟合的成因

过拟合的成因其实很简单，就三个字：太复杂。模型参数太多，训练数据太少，它就硬记。你想想看，如果用一个10层网络去拟合10个样本点，网络完全可以把每个样本的位置精确记下来，但这样它对新数据毫无预测能力。

我个人习惯把过拟合的成因归纳为三类：

• 模型容量过大：层数太深、每层神经元太多。我在项目中遇到过，同一个数据集，用3层网络做分类准确率80%，换到10层网络反而掉到75%。这就是典型的过拟合。
• 训练数据不足或质量差：样本数量少，或者样本中存在大量噪声。特别是图像分类任务，如果标注有错误，模型会把错误也学进去。
• 训练时间过长：模型一开始还在学通用特征，到后面就开始拟合噪声了。我以前调模型时，走了这个弯路。

Dropout如何缓解过拟合

Dropout的思路很直接：训练时让一部分神经元暂时"消失"。具体来说，每个训练批次，按概率p随机丢弃一些神经元，剩下1-p的神经元参与计算。被丢弃的神经元在前向传播时不输出，反向传播也不更新参数。

为什么这样能缓解过拟合？我总结了几点：

1. 降低模型容量：每次迭代实际参与训练的神经元变少了，相当于每次训练一个"瘦身"版的网络。
2. 防止共适应：神经元之间不能互相依赖。举个例子，如果两个神经元总是同时激活，Dropout会让它们没法总是"绑定"在一起。
3. 集成学习效果：每次Dropout随机生成一个子网络，训练结束后，所有子网络的权重共享。推理时，所有神经元都参与计算，相当于用全网络来做"平均预测"。

这里给出一个PyTorch中Dropout层的标准用法：

import torch.nn as nn

class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(512, 256)
        self.dropout = nn.Dropout(p=0.5)  # 丢弃概率50%
        self.fc2 = nn.Linear(256, 10)

    def forward(self, x, training=True):
        x = torch.relu(self.fc1(x))
        if training:
            x = self.dropout(x)  # 训练时才丢弃
        x = self.fc2(x)
        return x

理论依据

从数学上看，Dropout其实有严格的理论支撑。Hinton他们当时提出时，是从生物学角度解释的——大脑神经元就是部分激活的。后来，更多研究给出了更严谨的论证。

1. 正则化视角

Dropout等价于在损失函数中增加了一个隐式正则化项。训练时随机丢弃神经元，等价于在参数空间中引入了噪声。这个噪声项可以看作是对权重的L2正则化的近似。在我自己推导过之后，发现了这一点：

# 不加Dropout的损失函数
loss = L(y_pred, y_true)

# 加了Dropout后，可以近似写成
loss_approx = L(y_pred, y_true) + lambda * ||W||^2

2. 集成学习视角

这一点前面提过，但值得展开。假设网络有N个神经元，每个神经元有两种状态（保留/丢弃），理论上有2^N个子网络。训练时，这些子网络共享权重，推理时通过所有神经元激活来近似平均所有子网络的输出。

3. 特征解耦视角

这一点我觉得很关键。Dropout让网络不再依赖于某些特定特征的组合。举个例子，如果识别猫需要"耳朵+尾巴+胡须"三个特征，没有Dropout时网络可能只依赖前两个特征就足够了，第三个特征就没学到。加了Dropout后，网络必须同时学习所有特征，因为任何一个特征都有可能被随机丢弃。

在实际项目中，我习惯根据数据量来调整Dropout概率。数据量大时，Dropout可以设小一点（0.2-0.3），数据量少时，可以设大一点（0.5-0.7）。具体值还是得调参试，没有万能公式。