第2章 可重复计算的概念与重要性
先讲个真实故事。几年前我负责一个图像分类模型，调了一周，训练损失从2.1降到了0.3。第二天计划跑个消融实验，结果同样的代码、同样的超参数，损失曲线完全对不上，最后竟然多收敛了0.5个点……我当时以为是bug，查了两天，最后发现——数据加载时没有固定shuffle种子。
嗯，这就是可重复计算没做到位的后果。你辛辛苦苦调出来的模型，别人复现不了，甚至你自己第二天都复现不了，那你的工作还有什么说服力？这一章我们就讲清楚可重复计算是什么，为什么必须做好它，以及怎么落地。
什么是可重复计算？
简单说，可重复计算指的是：给定相同的输入、相同代码、相同环境配置，模型训练过程能产生完全一样的结果。注意，是「完全一样」，不只是精度大概相近——loss值、梯度、权重更新每一步都要一样。
我个人的判断标准很简单：把同一个训练脚本在不同时间、不同机器（同配置）上跑两次，最终检查点文件的哈希值一致。做不到这个，就不算可重复。
你想想看，如果你的实验结果别人无法复现，那你的论文、汇报甚至线上模型都像沙子上的城堡，一阵风就倒。所以可重复计算不是“加分项”，而是基本功。
为什么可重复计算如此重要？
我把核心原因列出来，每一条都是我在项目里踩过坑后总结的：
- 科学严谨性：实验必须能被独立验证。如果改动一个超参数后结果波动，你没法判断是参数影响还是随机噪声。
- 调试效率：无法复现的bug等于不存在。我曾在一次训练中loss突然跳高，如果不固定种子，根本没法回滚到出问题的步骤。
- 团队协作：多人共用实验平台，A调好种子，B加载时没设，结果对不上，一堆时间花在“对log”上。
- 生产部署稳定性：线上模型需要确定性推理。如果训练过程不一致，模型权重有微小差异，线上行为可能偏离预期。
- 审计与合规：金融、医疗场景下，模型训练过程需要被审计。每个实验必须可追溯、可复现。
一句话总结：可重复计算是实验可信度的基石，没有它，你的模型就是个黑盒。
可重复计算的常见破坏因素
很多同学觉得“我代码没改，结果应该一样啊”。但现实是，破坏因素藏在细节里。下表总结了最常见的几种：
| 破坏因素 | 典型表现 | 影响范围 |
|---|---|---|
| 随机种子未固定 | 每次训练loss曲线起始不同 | 全流程 |
| 数据加载多线程乱序 | 不同epoch数据顺序混乱 | 每个batch |
| GPU非确定性操作 | cuDNN卷积的float累加顺序 | 梯度更新 |
| 浮点精度差异 | 不同框架/硬件下累加顺序不同 | loss抖动 |
| 库版本不一致 | PyTorch 1.10 vs 1.12的算子实现 | 模型行为 |
| 环境变量/系统时间 | 某些库用随机种子未设时读系统时间 | 随机行为 |
我曾经被“数据加载多线程乱序”坑过一整周。两个DataLoader进程，一个速度快一个慢，shuffle后的数据顺序随系统调度变化。后来强制每个worker单独设种子才解决。
实现可重复计算的关键手段
想要做到可重复，需要从代码、数据、环境三个维度下手。下面是具体做法：
- 固定所有随机种子：Python random、numpy、torch、cuda、DataLoader的worker seed，一个都不能少。
- 启用GPU确定性算法：PyTorch中设置
torch.backends.cudnn.deterministic = True，同时关闭benchmark模式。 - 控制数据加载顺序：DataLoader设置
shuffle=True时要传generator参数并固定种子；多worker时每个worker用独立的种子。 - 记录完整实验配置：所有超参数、代码版本（git commit）、库版本、系统信息都持久化到日志或配置文件中。
- 使用容器/虚拟环境：Docker或conda确保依赖库版本锁定。
一个常见的误区是：只设了torch.manual_seed，就觉得万事大吉。实际上，cuDNN的卷积实现默认非确定性，你还需要额外配置。下面我给出一个PyTorch中可重复训练的起点代码，注意注释中的关键点。
import torch, numpy as np, random
def set_seed(seed=42):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
# 开启确定性算法，但会牺牲一些性能
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
# 设置DataLoader worker种子
def worker_init_fn(worker_id):
worker_seed = seed + worker_id
np.random.seed(worker_seed)
random.seed(worker_seed)
return worker_init_fn
# 在训练代码里使用
set_seed(2024)
worker_fn = set_seed(2024)
train_loader = DataLoader(dataset, shuffle=True,
worker_init_fn=worker_fn)注意：开启cuDNN确定性会降低训练速度，尤其是卷积层多的模型，可能慢20%-50%。如果是非实验性质的长期训练，建议在关键实验中使用，日常调试可先关闭。
可重复计算的完整流程
下面这张图梳理了从实验配置到结果复现的完整路径，每个环节都必须做到位。
我个人习惯在训练脚本启动时自动生成一个 seed_artifacts 字典并序列化保存，里面包含所有种子值、lib版本、torch版本、git commit hash。这样即使过了三个月，也能精确还原当时环境。
实践避坑指南
说了这么多，我也踩过一些坑，直接分享给你：
- 小心DataLoader的worker线程：每个worker的随机种子如果不独立设置，不同worker可能产生相同随机序列，导致数据重复。
- cuDNN的benchmark模式：如果开启
torch.backends.cudnn.benchmark = True，PyTorch会动态选择最合适的卷积算法，算法选择本身依赖输入数据尺寸——数据加载顺序不同可能导致算法选择不同，破坏可重复性。所以一定要设成False。 - 多GPU训练下种子扩散：使用DistributedDataParallel时，每个进程的种子要独立设定，通常通过
rank偏移。 - 第三方库的隐藏随机性：比如imgaug、scikit-learn也可能有自己的随机状态，需要额外固定。
- 操作系统级的干扰：不同机器上
aslr、环境变量PYTHONHASHSEED未固定也可能导致字典顺序变化，影响模型输入顺序。
我曾经因为没固定PYTHONHASHSEED，导致两次训练中数据集字典的迭代顺序不同（虽然内容一样但key排序变了），数据加载时batch组成不一样，损失曲线直接错位。这是个非常隐蔽的坑，建议在训练脚本顶部加上：import os; os.environ['PYTHONHASHSEED'] = '0'
小结
这一章的核心就一句话：可重复计算不是锦上添花，而是实验的根基。破坏它的一张“随机”骨牌非常多，但你只要按上面的流程固定种子、控制算法确定性、记录环境、管理数据加载顺序，就能让每一次训练都能被精确复现。