Dropout 参数详解：keep_prob 与 rate

做深度学习的人，几乎都遇到过这个困惑：

同一个 Dropout，TensorFlow 里叫 keep_prob，PyTorch 里叫 p 或 rate。明明都是控制随机丢弃，参数值却一个是 0.7，另一个是 0.3 —— 到底是保留率还是丢弃率？

我刚开始接触两个框架时，就被这个命名坑过一次。模型训着训着 loss 突然爆炸，找了两天才发现是 Dropout 参数传反了。你想想看，这种低级错误在项目中一出现，真能让人血压飙升。

从语义到数学：一个参数的两个面孔

Dropout 的核心数学公式，其实很简单：

训练时：y = mask * x / keep_prob
推理时：y = x

keep_prob 是保留概率，也就是神经元不丢弃的比例。而 rate 是丢弃概率，也就是神经元被置零的比例。两者关系：

keep_prob = 1 - rate

说白了，就是同一个硬币的两面。但麻烦在于框架对“p”这个字母的解读完全不同。

TensorFlow：keep_prob 的前世今生

老版本 TensorFlow 1.x 里，Dropout 参数就叫 keep_prob。我记得当时文档里写着：

tf.nn.dropout(x, keep_prob=0.7)

意思是保留 70% 的神经元，丢弃 30%。keep_prob=1.0 就不丢弃，keep_prob=0.5 丢弃一半。

TensorFlow 2.x 之后，为了统一 API 风格，把 tf.keras.layers.Dropout 的参数改成了 rate：

tf.keras.layers.Dropout(rate=0.3)   # 丢弃 30%

但我自己发现，很多旧项目里依然在用 keep_prob，迁移的时候特别容易写错。嗯，这里要注意——如果你看到某个 TF 代码里传的是 0.3，一定要确认它用的是哪个 API 版本。

API	参数名	语义	示例值	实际保留比例
tf.nn.dropout (TF1.x)	keep_prob	保留概率	0.7	70%
tf.keras.layers.Dropout (TF2.x)	rate	丢弃概率	0.3	70%
PyTorch nn.Dropout	p	丢弃概率	0.3	70%

PyTorch：率就是丢弃率

PyTorch 的 Dropout 从诞生起就用 p 表示丢弃概率：

import torch.nn as nn
dropout = nn.Dropout(p=0.3)   # 丢弃 30%

这也符合大部分论文里的写法：p=0.5 表示丢弃一半。我个人更习惯 PyTorch 的语义，因为损失函数、正则项都是“惩罚大的东西”，丢弃率像是一个惩罚强度，直觉上更一致。

但有一个细节很多人忽略：PyTorch 的 Dropout 在 eval() 模式下自动关闭。而 TensorFlow 的 tf.keras.layers.Dropout 也类似，不过如果手动调用 tf.nn.dropout，得自己控制训练/推理状态。

参数差异带来的陷阱

我在项目中遇到过最经典的坑：

1. 迁移代码时参数写反：把 PyTorch 的 p=0.3 直接贴到 TensorFlow 的 keep_prob=0.3，导致只保留了 30% 的神经元，训练发散。
2. TensorFlow 版本升级遗忘：旧代码 keep_prob=0.7 新版本要改成 rate=0.3，没改全。
3. 分布式训练中 Dropout 的缩放因子：多卡训练时，部分框架对 Dropout 的隐式缩放与单卡不同，参数没对齐可能导致梯度异常。

实战中的换算技巧

现在你在写新模型时，大多数框架都统一成了 rate（丢弃率）。但我还是建议记住一个换算公式：

# 已知丢弃率 rate，求 TensorFlow 1.x 中的 keep_prob：
keep_prob = 1 - rate

# 已知保留率 keep_prob，求 PyTorch 的 p：
p = 1 - keep_prob

如果遇到论文里只写 p=0.5，不用纠结，直接理解成“丢弃一半”。

顺便分享一个我写代码时的小习惯：在模型的初始化函数里加一个注释：

class MyModel(nn.Module):
    def __init__(self, dropout_rate=0.3):
        super().__init__()
        # dropout_rate 统一指丢弃概率，兼容 TF/PyTorch
        self.dropout = nn.Dropout(p=dropout_rate)
        ...

这样不管以后切换到哪个框架，内部数据结构始终是丢弃概率，不容易乱。

一张图理清参数关系

下面这张图把 keep_prob、rate、p 三个参数的关系以及它们在训练/推理阶段的行为做成了一个结构流程。你对照着看，应该不会再搞混了。