3. 模型训练与部署一致性：训练环境与生产环境差异、模型序列化与反序列化、模型版本管理
模型训练好了，只是万里长征走了一半。另一半，是怎么让这个模型在生产环境里老老实实地干活，别出幺蛾子。
说白了，训练环境跟生产环境，就像实验室和战场。实验室里恒温恒湿，数据干净，资源管够。战场上呢？网络抖动、内存吃紧、数据分布说变就变。我见过太多团队，训练时 AUC 漂亮得不行，一上线直接崩盘。为什么？环境差异没处理好。
3.1 训练环境与生产环境的差异
差异到底在哪？我列个表，你一看就明白。
| 维度 | 训练环境 | 生产环境 |
|---|---|---|
| 硬件 | GPU 集群，显存充裕 | CPU 服务器，甚至边缘设备 |
| 软件依赖 | Python 3.8 + CUDA 11.0 | Python 3.6 + CUDA 10.2（常有降级） |
| 数据分布 | 历史数据，离线清洗 | 实时数据，可能有漂移 |
| 特征工程 | Spark 批量处理 | 在线实时计算，延迟敏感 |
| 资源限制 | 内存 256G，CPU 64核 | 内存 4G，CPU 2核 |
| 精度要求 | FP32 甚至 FP64 | FP16 或 INT8 量化 |
你看，光是硬件和精度这两项，就够喝一壶的。我在项目中遇到过最典型的问题：训练时模型用 FP32，精度 0.85。上线时为了压延迟，转成 INT8，精度直接掉到 0.79。业务方当场炸毛。
3.2 模型序列化与反序列化
模型从训练环境搬到生产环境，靠的就是序列化。你想想看，一个几百 MB 的模型文件，里面装着权重、网络结构、优化器状态，甚至还有自定义算子。怎么保证它换个机器还能原样加载回来？
我个人的习惯是：序列化时多存一份元信息。比如框架版本、Python 版本、依赖库列表。别嫌麻烦，出问题的时候这就是救命稻草。
3.2.1 常见序列化格式对比
| 格式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| Pickle | Python 原生，简单 | 不安全，版本依赖强 | 快速实验，不推荐生产 |
| ONNX | 跨框架，跨平台 | 部分算子不支持 | 模型交换，边缘部署 |
| SavedModel | TensorFlow 官方，完整 | 体积大，加载慢 | TF 生态，服务端部署 |
| TorchScript | PyTorch 官方，支持 JIT | 动态图转静态图有坑 | PyTorch 生产部署 |
| PMML | 标准化，跨语言 | 表达能力有限 | 传统 ML 模型 |
嗯，这里要注意：Pickle 不要在生产环境用。我曾经接手过一个项目，序列化时用了 Pickle，结果生产环境的 Python 小版本不一样，反序列化直接报错。折腾了两天，最后重训模型才解决。
3.2.2 反序列化的坑
反序列化不是简单的 load 就完事。有几个坑，我帮你踩过了：
- 自定义算子缺失：训练时写了个自定义层，生产环境没注册，直接报错。解决方案：把自定义算子打包成独立库，随模型一起发布。
- 设备映射问题：训练时模型在 GPU 上，生产环境只有 CPU。加载时记得加
map_location='cpu'。 - 版本不兼容：PyTorch 1.8 训练的模型，用 PyTorch 1.12 加载，某些 API 已经废弃。我建议你固定推理环境的框架版本。
requirements.txt 和 model_metadata.json。元信息里写清楚框架版本、输入输出格式、预处理逻辑。这样即使半年后回滚，也能快速定位问题。
3.3 模型版本管理
模型版本管理，说白了就是给模型上个户口。你想想看，一个推荐系统，每天可能迭代十几个模型。哪个版本在线上跑？哪个版本效果最好？哪个版本有 bug 需要回滚？没有版本管理，就是一团乱麻。
3.3.1 版本管理的核心要素
- 唯一标识：每个模型版本必须有唯一的 ID，推荐用语义化版本号（如 v1.2.3）加上 Git commit hash。
- 元信息记录：训练数据、超参数、评估指标、训练时间、负责人。这些信息要跟模型文件绑定在一起。
- 存储策略：模型文件通常很大，不适合放 Git。我建议用对象存储（如 S3、MinIO）或专门的模型仓库（如 MLflow Model Registry）。
- 生命周期管理：模型从开发到上线，要经历 staging、production、archived 等阶段。每个阶段都要有明确的准入和准出标准。
3.3.2 版本管理的常见方案
| 方案 | 优点 | 缺点 | 推荐指数 |
|---|---|---|---|
| Git LFS | 简单，跟 Git 集成 | 大文件多了会慢 | ⭐⭐⭐ |
| MLflow | 开源，功能完整 | 需要额外部署服务 | ⭐⭐⭐⭐ |
| DVC | 数据版本控制，轻量 | 学习曲线略陡 | ⭐⭐⭐⭐ |
| 自建 Model Registry | 完全可控 | 开发维护成本高 | ⭐⭐⭐ |
我个人比较推荐 MLflow。它在实验跟踪、模型注册、部署集成方面做得比较成熟。我在上一家公司就用它管理了上百个模型版本，回滚操作基本在 5 分钟内完成。
3.4 知识体系总览
下面这张图，把本章的核心逻辑串起来了。你可以把它当作一个检查清单，每次做模型部署时对照着走一遍。
你看，这三个方面其实是环环相扣的。环境差异决定了你用什么序列化方案，序列化方案又影响了版本管理的存储策略。我建议你从项目一开始就把这三件事一起规划，别等上线前才补课。