2. Batch Normalization基本原理：归一化与分布稳定

好，咱们正式开始聊BN的核心。很多同学刚接触Batch Normalization时，觉得它就是个“数据标准化”的升级版。嗯，这么理解也没错，但深度学习的归一化，远比想象中要复杂。

我记得第一次在分子生成模型里加BN层的时候，模型直接不收敛了。当时我排查了半天，发现问题是——Batch Normalization在生成任务中的行为，和图像分类里完全不一样。所以，在动手写代码之前，咱们先把原理捋清楚。

2.1 为什么要做归一化？

先问一个问题：一个深层神经网络，凭什么能学到东西？

靠的是每一层输出的数据分布相对稳定，让后续层能持续从数据中提取特征。但现实很残酷，随着网络加深，每一层的输入分布都在悄悄发生变化。这就是所谓的Internal Covariate Shift（内部协变量偏移）。

通俗点说，网络的前面参数稍微动一动，后面所有层的输入分布就跟着变。这让后面的层一直在“适应”新的分布，而不是专注学特征。训练速度慢，梯度容易炸，调学习率就跟拆炸弹一样。

Batch Normalization干的事很简单：强行把每一层的激活值拉回到均值为0、方差为1的标准正态分布附近。这样后续层就不用分心去适应分布变化了。

2.2 BN的数学原理

好，咱们走到公式层面。BN对一个mini-batch内的样本做归一化，主要分两步走：

1. 计算批次统计量——均值μ和方差σ²
2. 归一化+线性变换

公式本身不复杂，我习惯把整个过程拆解成四个动作：

步骤	数学表达式	含义
1. 计算批次均值	μB = (1/m) Σ xi	对mini-batch内m个样本求平均
2. 计算批次方差	σ²B = (1/m) Σ (xi - μB)²	一样求方差，注意是无偏估计？这里用的是有偏
3. 归一化	ẋi = (xi - μB) / √(σ²B + ε)	强制拉到(0,1)分布，ε防止除零
4. 线性变换	yi = γ·ẋi + β	γ是缩放因子，β是平移因子，让网络自己决定要不要偏离标准正态

这里有个点特别重要，我当年踩过坑。γ和β是可学习的参数，它们的初始值直接影响训练。我在分子生成项目里曾经把γ初始设为0，结果模型完全摆烂，所有输出都变成常数。后来改回γ=1、β=0，才恢复正常。

再来说代码实现。用PyTorch的话，一个BN层就这么写：

import torch.nn as nn

# 对2D数据（batch_size, num_features）
bn = nn.BatchNorm1d(num_features=128)

# 对4D数据（batch_size, channels, height, width）
bn2d = nn.BatchNorm2d(num_channels=64)

# 对分子图里的节点特征（batch_size, num_nodes, node_features）
bn_graph = nn.BatchNorm1d(node_feat_dim)

你看，分子生成里用的其实是BatchNorm1d。因为分子图的数据形状是(batch, node_num, feature_dim)，对最后一维做归一化，用1d版本就对了。

2.3 训练和推理阶段的差异

这个坑，我真的提过很多次。BN在训练和推理时的行为完全不同，忘记这点的后果很严重。我曾经把模型切到eval模式后，生成的分子质量直接崩了——就因为没搞清楚推理时的统计量怎么来的。

区别其实就一条：

• 训练阶段：用当前mini-batch的均值和方差做归一化。每次前向传播，统计量都在变。
• 推理阶段：用整个训练集上累积的滑动平均值。这个值在训练过程中一直在维护，推理时直接拿过来用。

为什么会这样？你想想看，推理时你可能只生成一个分子，batch size=1。这时候算均值和方差？一个样本的方差是0，归一化就废了。所以必须用全局统计量。

PyTorch里维护这个逻辑的是这么几个参数：

bn.running_mean    # 滑动均值
bn.running_var     # 滑动方差
bn.momentum        # 滑动平均的动量，默认0.1

这三兄弟在训练时自动更新，推理时只读不改。我建议你把它们的shape打印出来看一眼，了解内部结构对调试很有帮助。

2.4 BN对梯度流的影响

BN还有一个隐藏能力——它让梯度传播更平稳。这个影响很微妙，但对分子生成这种需要精细控制输出的任务来说，很重要。

简单解释一下：归一化操作让激活值保持在相对稳定的范围内，反向传播时梯度的幅度就不会忽大忽小。换句话说，BN避免了梯度爆炸和梯度消失这两个经典问题。

我做分子生成时有一个直观体会：加了BN之后，就算学习率设成0.01，模型也能稳定训练。不加BN，0.001都可能炸掉。这就是梯度被“驯服”的效果。

2.5 分子生成场景下的特殊性

咱们把话题拉回到分子生成。BN在这个领域的应用，有几个细节要额外注意。

第一，批次大小敏感。分子生成任务中，有时受限于显存，batch size设得很小，比如8或者4。这时候BN的效果会大打折扣，因为mini-batch的统计量噪声太大。我遇到过这种情况，最后的解决方法是换成了Layer Normalization。

第二，序列/图结构数据的归一化方向。分子通常用图或者SMILES序列表示。对图数据做BN，是对节点特征维度做归一化，还是对整个图做归一化？答案是——按特征维度归一化。我的习惯是shape为(batch, node, feat)时，BN作用于feat维度。

第三，生成过程的分布漂移。分子生成过程中，早期和晚期特征分布差异很大。BN能通过γ和β自动适应这种变化，但我建议在生成模型的每个卷积层或注意力层后都接一个BN，别偷懒。

咱们用一个SVG把这套流程串起来，你看一眼就明白了。

2.6 为什么分布稳定这么重要？

说白了，神经网络是一个层叠的“分布转换器”。每一层输出的分布，决定了下一层能学到什么。如果分布一直在漂移，每一层都在“猜”输入长什么样，效率极低。

BN让分布稳定下来之后，有几个直接的好处：

• 收敛速度加快——梯度方向更一致，不用来回震荡
• 学习率可以设更大——不用小心翼翼怕梯度炸
• 对初始化不敏感——随机初始化也能稳定训练
• 自带正则化效果——mini-batch统计量的噪声，轻微抑制过拟合

最后一句话需要展开说一下。BN的正则化效果是“附赠”的，不是主要目的。它通过mini-batch统计量引入的随机性，有点像Dropout的平分效果。但别指望BN能替代Dropout，两者机制不同。