随机种子复现性图谱实战课 - 第1节

一、随机种子：复现实验的基石

做深度学习实验，最怕什么？

我个人的惨痛经历是：跑了一个星期的模型，终于调出一个不错的结果。结果第二天重新跑一次，效果完全对不上。损失曲线不一样，精度也变了。那一刻真的想砸电脑。

问题出在哪？就是随机种子。

说白了，随机种子就是一个数字。你把这个数字喂给随机数生成器，它就会产生一串固定的随机数序列。只要种子不变，序列就不变。嗯，这就是“复现性”的核心。

1.1 什么是随机种子

计算机里的随机都是“伪随机”。真正的随机需要硬件支持，我们平时用的都是算法模拟出来的。

随机种子就是伪随机算法的初始化参数。给定同一个种子，算法每次都会产生完全相同的随机数序列。

import random

# 设置种子
random.seed(42)
print([random.random() for _ in range(3)])
# 输出: [0.6394267984578837, 0.025010755222666936, 0.27502931836911926]

# 重置种子
random.seed(42)
print([random.random() for _ in range(3)])
# 输出完全一样: [0.6394267984578837, 0.025010755222666936, 0.27502931836911926]

看到了吧？同样的种子，同样的结果。这就是复现的基础。

1.2 为什么复现性如此重要

我在做项目时，经常需要对比不同方案的优劣。如果没有复现性，一次实验换一个结果，那对比就没有意义了。

举个例子：

场景	有复现性	无复现性
论文实验	评审可以复现结果	不可信任
团队协作	队友能复现你的实验	各跑各的，无法对比
生产部署	线上结果可追溯	问题定位困难
Bug排查	锁定随机因素	随机性问题难以重现

表格里列的都是实际工作中踩过的坑。我曾经就因为一次实验没固定种子，浪费了整整两周排查一个根本不存在的问题。

1.3 什么时候需要复现性

你可能会问：难道所有实验都要固定种子吗？

我建议分情况讨论：

• 实验对比阶段：一定要固定。否则你根本分不清是算法改进带来的提升，还是随机运气好。
• Bug 排查阶段：一定要固定。重现问题需要确定性环境。
• 生产环境：最好固定。线上问题回溯需要完整链路。
• 模型推理阶段：必须固定。同一输入必须产生同一输出。
• 纯探索阶段：可以随机。比如刚接触新数据集，随便看看效果。

二、随机种子的工作原理

搞清楚了“为什么要用”，我们再来看看“怎么工作的”。

2.1 伪随机数生成器

Python 的 random 模块使用梅森旋转算法。PyTorch 和 NumPy 也有自己的生成器，原理类似。

核心流程：

1. 用户提供一个种子（整数）
2. 生成器内部状态初始化为该种子
3. 每次调用随机函数，状态更新，输出一个数
4. 种子相同 → 状态序列相同 → 输出相同

为什么会这样？因为所有操作都是数学运算。它没有任何真随机因素。听起来简单，但很多新手会忽略一个关键点：不同的库使用不同的生成器。

2.2 常见随机种子值

我习惯用 42，没啥特殊原因，就因为《银河系漫游指南》里说42是宇宙的终极答案。不过在实际项目中，很多人会选0、42、12345这些经典值。

种子值	常用场景	说明
0	快速调试	最容易记的种子
42	默认实验	最经典的种子值
12345	正式实验	避免和调试冲突
2024	年度实验	按年份区分

嗯，其实选哪个数字都行，只要你自己记得住，且团队内统一就好。

三、复现性的核心逻辑

来，我们理一下复现性背后的逻辑。

你写的代码里，有很多地方涉及随机性：

• 数据集随机打乱
• 模型参数初始化
• Dropout 层的随机失活
• 数据增强的随机操作
• 优化器内部的随机因素（有的优化器有）

每处随机，背后都有一个生成器。要复现整个实验，就必须把这些生成器全部“锁定”。

所以我每次开始实验，第一件事就是固定所有种子。这是我个人的习惯，跑久了就变成强制流程了。

3.1 固定种子的代码模板

下面是我常用的种子固定代码块：

import random
import numpy as np
import torch

def set_seed(seed=42):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    # CUDNN 确定性设置
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

set_seed(42)

这段代码我用了好几年了。每次新建一个实验脚本，第一行就是调用它。你想想看，如果连种子都不固定，后面所有的实验流程都没法复现，那不是白干了吗？

3.2 避免踩坑：最常见的错误

我曾经犯过一个很蠢的错误：在代码中间才设置种子，前面已经调用过随机操作了。那样子根本没效果——生成器已经被污染了。

避坑指南：

所以记住：

• 种子必须在所有随机操作之前设置
• DataLoader 要设置 worker_init_fn 确保子进程也固定种子
• 多卡训练需要额外处理

四、知识体系总览

讲了这么多，我们用一个图来总结本章的核心内容。你会发现，随机种子这个概念虽然简单，但牵涉到的范围其实挺大的。

图里把本章的核心逻辑串起来了。你会发现，所有内容都围绕一个核心：种子决定了随机序列，复现性要求我们锁死这个序列。

五、实战中需要注意的几点

5.1 不要迷信“绝对复现”

说实话，完全100%的复现很难做到。GPU 的并行计算存在非确定性因素，不同硬件、不同 CUDA 版本都会带来细微差异。

我的标准是：在相同硬件环境下，固定种子后，两次运行结果应该完全一致。这样就够了。

5.2 种子管理

我有一个小习惯：每个实验都把种子写进实验日志。这样万一想回溯，直接查日志就知道当初用的哪个种子。

# 我常用这种方式记录
experiment_config = {
    "seed": 42,
    "dataset": "CIFAR-10",
    "model": "ResNet18",
    "epochs": 100,
    "learning_rate": 0.001
}
# 然后保存到 JSON 日志里

5.3 关于 DataLoader

这一点很容易被忽略。PyTorch 的 DataLoader 如果设置 num_workers > 0，子进程的随机状态不会继承主进程的种子。你需要手动设置 worker_init_fn。

def worker_init_fn(worker_id):
    np.random.seed(np.random.get_state()[1][0] + worker_id)

dataloader = DataLoader(
    dataset,
    batch_size=32,
    num_workers=4,
    worker_init_fn=worker_init_fn
)

这个写法确保每个 worker 都有自己的种子，且不重复。我之前因为这个没处理好，多进程加载数据时每次数据顺序都不一样，排查了好久才发现问题。