4. 模型导出与序列化：使用 Pickle、Joblib、ONNX 格式保存模型、模型版本管理基础

模型训练完成后，必须将内存中的模型对象持久化到磁盘，才能用于后续的部署与推理。序列化格式的选择直接影响模型的加载速度、跨平台兼容性以及生产环境的稳定性。本章将系统讲解三种主流序列化方案（Pickle、Joblib、ONNX）的适用场景与操作规范，并建立基础的模型版本管理机制。

4.1 序列化格式对比与选型

不同序列化格式在文件大小、加载速度、跨语言支持、安全性等方面存在显著差异。下表从生产部署角度对比三种格式的核心特性：

4.2 Pickle 序列化操作

Pickle 是 Python 内置的序列化模块，能够将任意 Python 对象转换为字节流。对于信用评分模型，通常将训练好的模型对象与预处理流水线（Pipeline）一起打包保存。

import pickle
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.pipeline import Pipeline

# 假设 model 是已训练好的 Pipeline 对象
model = Pipeline([
    ('scaler', StandardScaler()),
    ('classifier', GradientBoostingClassifier(n_estimators=100))
])
model.fit(X_train, y_train)

# 保存模型
with open('credit_score_model_v1.pkl', 'wb') as f:
    pickle.dump(model, f)

# 加载模型
with open('credit_score_model_v1.pkl', 'rb') as f:
    loaded_model = pickle.load(f)

# 推理
predictions = loaded_model.predict(X_test)

4.3 Joblib 序列化操作

Joblib 是 scikit-learn 生态推荐的序列化工具，对包含大量 numpy 数组的模型对象（如随机森林、梯度提升树）有更好的压缩效率和加载速度。

import joblib
from sklearn.ensemble import RandomForestClassifier

# 训练模型
model = RandomForestClassifier(n_estimators=200, max_depth=10)
model.fit(X_train, y_train)

# 保存模型
joblib.dump(model, 'credit_score_rf_v2.joblib')

# 加载模型
loaded_model = joblib.load('credit_score_rf_v2.joblib')

# 推理
probabilities = loaded_model.predict_proba(X_test)[:, 1]  # 违约概率

Joblib 支持压缩参数，可显著减小磁盘占用：

# 使用压缩保存（推荐生产环境）
joblib.dump(model, 'credit_score_rf_v2_compressed.joblib', compress=3)

# compress 参数范围 0-9，数值越大压缩率越高，但保存/加载时间越长

4.4 ONNX 模型导出

ONNX（Open Neural Network Exchange）是一种开放的模型表示标准，允许模型在不同框架之间互操作。对于信用评分模型，ONNX 格式可以在 Java、C++、Go 等非 Python 环境中高效运行，是生产部署的首选格式。

4.4.1 sklearn 模型转 ONNX

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType
import onnxruntime as ort

# 假设 model 是训练好的 sklearn Pipeline
model = Pipeline([
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
])
model.fit(X_train, y_train)

# 定义输入类型（特征数量为 20）
initial_type = [('float_input', FloatTensorType([None, 20]))]

# 转换为 ONNX
onnx_model = convert_sklearn(model, initial_types=initial_type)

# 保存 ONNX 模型
with open('credit_score_model.onnx', 'wb') as f:
    f.write(onnx_model.SerializeToString())

# 使用 ONNX Runtime 加载并推理
session = ort.InferenceSession('credit_score_model.onnx')
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name

# 推理
result = session.run([output_name], {input_name: X_test.astype(np.float32)})

4.4.2 ONNX 模型验证

import onnx
from onnx import checker

# 加载 ONNX 模型
onnx_model = onnx.load('credit_score_model.onnx')

# 验证模型结构完整性
checker.check_model(onnx_model)

# 打印模型信息
print(f"模型 IR 版本: {onnx_model.ir_version}")
print(f"算子集版本: {onnx_model.opset_import[0].version}")
print(f"输入节点数: {len(onnx_model.graph.input)}")
print(f"输出节点数: {len(onnx_model.graph.output)}")

4.5 模型版本管理基础

模型版本管理是 MLOps 的核心实践，确保每次模型更新都可追溯、可回滚、可审计。以下建立基础的版本管理规范：

4.5.1 文件命名规范

4.5.2 元数据记录

每个模型版本应附带元数据文件，记录关键信息：

{
  "model_name": "credit_score_gbdt",
  "version": "2.1",
  "created_at": "2025-03-15T10:30:00Z",
  "created_by": "data_science_team",
  "training_dataset": "credit_data_2025Q1",
  "features_count": 20,
  "algorithm": "GradientBoostingClassifier",
  "hyperparameters": {
    "n_estimators": 200,
    "max_depth": 8,
    "learning_rate": 0.05
  },
  "metrics": {
    "auc_roc": 0.872,
    "ks_statistic": 0.54,
    "gini_coefficient": 0.744
  },
  "checksum_sha256": "a3f8b2c1d4e5f6a7b8c9d0e1f2a3b4c5d6e7f8a9b0c1d2e3f4a5b6c7d8e9f0"
}

4.5.3 版本存储目录结构

models/
├── credit_score_gbdt/
│   ├── v1.0/
│   │   ├── credit_score_gbdt_v1.0.onnx
│   │   ├── credit_score_gbdt_v1.0.onnx.meta.json
│   │   └── credit_score_gbdt_v1.0.onnx.eval.json
│   ├── v2.0/
│   │   ├── credit_score_gbdt_v2.0.onnx
│   │   ├── credit_score_gbdt_v2.0.onnx.meta.json
│   │   └── credit_score_gbdt_v2.0.onnx.eval.json
│   └── v2.1/
│       ├── credit_score_gbdt_v2.1.onnx
│       ├── credit_score_gbdt_v2.1.onnx.meta.json
│       └── credit_score_gbdt_v2.1.onnx.eval.json
└── credit_score_lr/
    └── v1.0/
        ├── credit_score_lr_v1.0.onnx
        ├── credit_score_lr_v1.0.onnx.meta.json
        └── credit_score_lr_v1.0.onnx.eval.json

4.6 模型序列化与版本管理流程

下图展示了从训练完成到模型注册的完整序列化与版本管理流程：

4.7 生产环境最佳实践

• 统一格式策略：团队内部约定生产环境统一使用 ONNX 格式，减少推理引擎切换成本。
• 自动化版本递增：在 CI/CD 流水线中集成版本号自动递增逻辑，避免人工修改错误。
• 模型签名验证：对每个模型文件计算 SHA-256 哈希值，部署时校验完整性。
• AB 测试支持：版本管理目录支持同时部署多个版本，便于线上 A/B 测试。
• 回滚机制：保留最近 3 个稳定版本，出现问题时可在 1 分钟内切换回旧版本。