2. Dropout 工作原理：随机失活、伯努利分布与训练推断差异

好，咱们来聊聊 Dropout 到底是怎么工作的。

很多人觉得 Dropout 就是“随机扔一些神经元”。这么说也对，但太糙了。你想想看，如果只是随机扔掉，那为什么能防止过拟合？训练和推理时扔的比例一样吗？

我刚开始接触时也踩过这些坑。后来亲手搭过几个模型，调试过几十次参数，才算真正吃透。今天我把这些心得掰开了讲给你。

2.1 核心思想：随机失活机制

Dropout 的核心就一句话：在每次训练迭代中，随机让一部分神经元“罢工”，不参与前向传播和反向传播。

说白了，就是让网络不能依赖某几个“明星神经元”。每个神经元都得学会独立干活，不能总等着别人给它递信息。

这样做的好处很明显：

• 防止过拟合：模型不会记住噪声，只能学到真正的模式。
• 增强鲁棒性：即使某些特征丢失了，模型依然能正确判断。
• 近似模型集成：每次训练都相当于训练了一个不同的子网络，最后的效果相当于多个模型投票。

训练时：h' = h * mask / (1-p)
推理时：h' = h * (1-p)

2.2 伯努利分布：随机性的数学基础

每次随机失活，其实背后是一个简单的概率分布——伯努利分布。

伯努利分布听着高大上，其实就是一个“抛硬币”模型。每个神经元要么保留（1），要么丢弃（0），概率由 Dropout 率决定。

举个例子，假设 Dropout 率 p=0.5，那每个神经元有 50% 的概率被保留，50% 的概率被丢弃。

import torch
import torch.nn as nn

# 模拟伯努利分布
p = 0.5  # 保留概率
mask = torch.bernoulli(torch.full((10,), p))
print(mask)
# 输出示例: tensor([1., 0., 1., 1., 0., 0., 1., 0., 1., 1.])

我在项目中遇到过一个问题：有同学直接用了 torch.rand() 生成随机数，再手动比较阈值。其实 PyTorch 的 torch.bernoulli() 就是干这个的，别自己造轮子。

伯努利分布的关键参数就两个：

• p：保留概率，通常取 0.5 或 0.8。
• 试验次数：每次训练迭代都独立采样一次。

dropout = nn.Dropout(p=0.5)  # p 是丢弃概率
x = torch.randn(3, 4)
out = dropout(x)
print(out)

2.3 训练阶段：随机失活 + 缩放

训练时，Dropout 的执行过程分两步：

1. 生成掩码：根据伯努利分布，为每个神经元生成一个 0 或 1 的掩码。
2. 缩放：保留的神经元输出要除以 (1-p)，保证期望值不变。

为什么要缩放？我解释一下：

比如你有个神经元，输出一直是 10。Dropout 率 p=0.5，那它有一半概率输出 0，一半概率输出 10。期望值是 5。如果不缩放，下一层的输入期望就降了一半，网络就没法正常训练了。

所以我们要把保留的神经元输出放大到 20，这样期望值还是 10，网络在统计上保持稳定。

# 手动实现Dropout训练阶段
def dropout_train(x, p=0.5):
    mask = torch.bernoulli(torch.full_like(x, 1-p))
    return x * mask / (1-p)

x = torch.tensor([10., 10., 10.])
out = dropout_train(x, p=0.5)
print(out)  # 可能输出: [20., 0., 20.]

2.4 推理阶段：所有权重参与，无随机性

推理时，Dropout 就“退休”了。

所有神经元都参与计算，不再随机丢弃。但为了保持期望一致，我们需要把权重要乘以 (1-p)。

这在 PyTorch 的 nn.Dropout 里是自动处理的。你只需要在模型定义时声明 Dropout 层，训练时调用 model.train()，推理时调用 model.eval()，框架会自动切换。

model = nn.Sequential(
    nn.Linear(128, 64),
    nn.ReLU(),
    nn.Dropout(0.5),
    nn.Linear(64, 10)
)

# 训练模式
model.train()
output = model(x_train)

# 推理模式
model.eval()
with torch.no_grad():
    output = model(x_test)

我个人习惯在 eval() 模式下也打印一下 Dropout 层的参数，确认它真的被关闭了。你可以用 model.training 来检查当前模式。

2.5 训练与推断对比：一张表说清楚

2.6 本章知识结构：Dropout 工作全景图

下面这张 SVG 图把 Dropout 的核心逻辑串起来了。你记住它，以后排查问题时就知道从哪个环节入手。

嗯，这张图把从输入到输出的完整流程都画出来了。你可以把它贴在工位上，排查时对着看，思路会清晰很多。

assert not model.training, "模型必须在 eval 模式下推理！"

Dropout 的原理讲完了。下节课我们聊怎么在实际项目中配置 Dropout 参数。