2. 可重复性危机与审计背景

在模型开发中，“结果对不上”往往不是偶发事故，而是系统性风险。可重复性危机指的是：同一份数据、同一套方法，在不同时间、不同人员或不同环境中运行，无法得到一致结论。它直接动摇模型的可信度、合规性与商业价值。本节从核心原理出发，梳理常见不可重复问题、行业案例，并说明审计的起源与必要性。

一、核心原理：可重复性的三层含义

可重复性并非单一概念，通常分为三个层次，理解它们的差异是审计设计的基础。

• 可复现（Reproducible）：同一团队、同一环境、同一数据与代码，重新运行能得到相同结果。这是最低要求。
• 可重复（Replicable）：不同团队依据文档与代码，在新环境中独立运行，能得到一致结论。这要求文档、依赖、随机种子等完整可迁移。
• 可泛化（Generalizable）：在新数据或新场景下，模型结论仍然成立。这属于更高层要求，依赖前两层。

不可重复问题通常源于三个维度：数据（版本、清洗、划分）、代码（依赖、随机性、环境）、流程（记录、评审、交接）。三者任一失控，都会导致结果漂移。

二、常见不可重复问题清单

以下清单来自大量模型开发与审计实践，可作为自查表使用。

类别	典型问题	后果
数据	数据版本未固定、清洗脚本未入库、训练/测试划分随机且未记录	指标虚高、结论无法复现
代码	依赖库版本漂移、随机种子未设置、GPU 非确定性算子	同一代码结果不同
环境	本地与生产环境不一致、缺少容器或环境锁定文件	“在我机器上能跑”
流程	实验记录缺失、参数靠记忆、交接无文档	无法追溯、审计失败
评估	指标口径不一致、多次调参后只报告最优结果	选择性报告、误导决策

这些问题往往不是孤立出现，而是相互放大。例如，数据划分未记录，叠加随机种子缺失，会让“复现”变成不可能任务。

三、行业案例：从学术到生产的真实代价

可重复性危机并非理论担忧。以下场景在行业中反复出现：

• 学术研究：某顶会论文公开代码后，多个团队无法复现其核心指标，最终发现数据预处理中隐含了未来信息泄漏。论文结论被质疑，后续研究被迫重做。
• 金融风控：某信贷模型上线后，监管要求提供历史决策的复现路径。由于训练数据版本未留存、特征工程脚本散落，团队无法解释某批拒绝决策，导致合规处罚与模型下线。
• 医疗 AI：某影像模型在外部医院验证时性能大幅下降。审计发现训练集与验证集的标注规范、设备参数不同，且未在文档中记录，模型无法跨机构重复。
• 推荐系统：A/B 实验结论被质疑，因为实验分流逻辑在代码中多次修改且未版本化，无法确认实验组与对照组的可比性。

四、审计的起源与必要性

模型审计并非凭空出现，它源于三个现实需求：合规监管、风险控制、工程治理。金融、医疗、自动驾驶等高风险领域，监管机构要求模型决策可解释、可追溯、可复现。同时，企业内部也需要通过审计发现流程漏洞，避免“黑箱”模型带来的系统性风险。

审计的核心目标不是“找茬”，而是建立可验证的证据链。一个基本的审计流程如下：

1. 范围界定：明确审计对象（数据、代码、环境、文档、评估）。
2. 证据收集：获取版本记录、运行日志、配置文件、随机种子、依赖清单。
3. 独立复现：在隔离环境中按文档重新运行，比对指标与输出。
4. 差异分析：定位不可重复的根因，区分数据、代码、环境或流程问题。
5. 结论与整改：输出审计报告，提出可执行的修复与预防措施。

审计的必要性可以概括为：没有审计，就没有可信的模型；没有可重复性，就没有可审计的模型。 在模型开发文档中，审计要求我们不仅记录“做了什么”，还要记录“如何验证做过的事”。

五、误区与复盘：为什么“能跑通”不等于“可重复”

开发中常见的误区包括：

• 误区一：代码能跑通就等于可重复。实际上，缺少随机种子、依赖锁定和环境描述，结果随时可能漂移。
• 误区二：文档是额外负担。审计视角下，文档是证据链的一部分，缺失文档等同于缺失证据。
• 误区三：只关注最终指标。审计关注全过程，包括数据划分、调参记录、失败实验，选择性报告会被视为风险信号。
• 误区四：审计是一次性活动。可重复性需要持续维护，每次数据、代码、环境变更都应触发重新验证。

复盘时，建议用以下命令快速检查环境与随机性配置，作为可重复性自查的起点：

# 检查 Python 依赖版本
pip freeze > requirements.lock

# 记录随机种子示例（Python）
import random, numpy as np, torch
SEED = 42
random.seed(SEED)
np.random.seed(SEED)
torch.manual_seed(SEED)
torch.cuda.manual_seed_all(SEED)

# 检查 Git 提交与数据版本
git rev-parse HEAD
dvc status  # 若使用 DVC 管理数据版本

这些动作看似简单，却是审计证据链的基石。只有把可重复性从“个人习惯”升级为“工程规范”，模型开发才能真正经得起审计。