📚 课程目录第1章课程导论

为什么需要参数版本锁定与复现

你有没有遇到过这种情况——模型上周跑出86.3%的准确率，这周同样的代码，同样的数据，结果只剩82.1%？

我遇到过。还不止一次。

第一次碰到时我以为是随机种子没设好。调了半天，不对。后来发现是PyTorch偷偷更新了某个CUDA算子行为。第二次更离谱，模型在A100上收敛好好的，换到V100直接发散。查了两天，原来是cuDNN版本不一致导致的自动调优差异。

说白了，AI训练的复现问题，很大程度上是“参数版本锁不住”造成的。你锁了代码版本，锁了数据版本，但训练参数、框架配置、环境依赖这些“看不见的东西”一直在变。它们一变，实验结果就不认账了。

复现危机的真实案例

我个人习惯把训练参数的可复现性分为三个层级。你看下面这个表：

层级	描述	典型问题
L1：代码级复现	相同的Python代码、模型结构	框架算子行为变化、随机数生成器不一致
L2：环境级复现	相同的CUDA/cuDNN版本、库依赖	Docker镜像漂移、pip依赖自动升级
L3：参数级复现	相同的超参数、优化器状态、随机种子	学习率调度器状态未保存、混合精度设置丢失

大多数团队只做到L1。但实验不能复现的坑，往往藏在L2和L3里。

我记得有个项目，两个工程师用同一个Git commit跑实验。A跑了84.3%，B跑了83.9%。争论了半天，最后发现A用的Python 3.8，B用的Python 3.9，两个版本的`random`模块对同一个种子的实现有差异。你想想看，就因为一个环境版本号，零点几个点的差距，能让人吵一整天。

核心观点：参数版本锁定不是锦上添花，而是所有可复现实验的基线。没有它，你永远不知道下次跑出的结果是真的改进还是环境噪声。

参数版本锁定的定义与范围

那到底什么是“参数版本锁定”？

我建议你这么理解：把训练过程涉及到的所有可配置项，包括显式的和隐式的，都记录并固化下来。它的范围比你想象的要大：

显式参数：batch size、学习率、优化器配置、权重衰减、dropout比例
隐式参数：PyTorch/cuDNN的确定性标志、自动混合精度策略、数据加载器的工作线程数
随机种子族：Python的random种子、NumPy种子、PyTorch种子（包括CPU和CUDA）、CUDA卷积确定性标志
环境参数：框架版本、CUDA版本、cuDNN版本、操作系统内核参数

你可能会问：“这些全都要手动记录吗？”当然不是。这就是我们要做系统化解决方案的原因。

锁定不了参数的后果

我曾经在项目中因为一个参数没锁住，付出了两周的代价。

当时我们在调一个视觉模型，负责实验的同事换了台机器继续跑。结果模型loss曲线完全不一样。一开始以为是数据shuffle出了问题。后来排查发现，cuDNN在不同GPU架构上对卷积算法的选择策略不同，导致前向传播的数值路径产生了偏差。

你想想看：

相同的代码
相同的数据
只是因为换了块显卡

结果就不可复现了。

这就是参数版本锁定要解决的核心问题。它要保证：只要能完整还原“参数状态空间”，无论在哪里跑、什么时候跑，都能得到相同的实验结果。

注意：GPU硬件差异（A100 vs V100, CUDA core vs Tensor Core）会导致某些算子数值结果不同，这属于硬件级别的确定性差异。参数版本锁定可以缩小差异范围，但不能完全消除。这是物理限制，不是工具问题。

本章的知识体系

为了让后面的内容好理解，我先画一张框架图。它展示了参数版本锁定的完整知识结构：

从上图可以看到，我们的核心目标很明确：锁定一切可变的东西，让实验结果只有“我们主动改变”的那一个变量。

本章核心实践

在正式开始之前，我想先给你一条最实用的建议。对于任何AI训练项目，请务必在训练脚本开头加入以下代码片段。它是我每个项目的标准开头：

import random
import numpy as np
import torch

def set_all_seeds(seed: int = 42):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)

    # 这两个标志让cuDNN的行为变得可重复（但会牺牲部分性能）
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

    # 环境变量也锁一下
    import os
    os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":4096:8"
    os.environ["PYTHONHASHSEED"] = str(seed)

    # PyTorch 1.9+ 的全局确定性配置
    if hasattr(torch, "use_deterministic_algorithms"):
        torch.use_deterministic_algorithms(True)

set_all_seeds(42)

小提示：把这段代码封装成一个独立的`utils/reproducibility.py`模块。每次实验导入一次即可。我个人习惯把它加到训练脚本的构造函数里，保证所有子进程也能继承这个种子状态。

同时，一定要保存完整的运行环境快照。我建议用这种方式：

# 训练开始前执行
pip freeze > requirements_$(date +%Y%m%d_%H%M%S).txt
conda env export > environment_$(date +%Y%m%d_%H%M%S).yaml

这两个文件存进Git仓库，和实验结果放一起。以后想复现，直接从这个文件列表重建环境。

本章小结

我们聊了为什么参数版本锁定是AI训练的“地基工程”。它不解决模型结构设计问题，但它解决了一个更底层的问题：让你的每次实验、每个改进，都能被准确记录和重现。

接下来的章节，我们会逐一拆解：怎样锁定框架行为、怎样记录超参数变更、怎样设计可复现的实验流程。但今天你只需要记住一件事——不锁参数，就别谈复现。