📚 课程目录第4章模型序列化与格式

4、模型序列化与格式：PMML、PFA、ONNX、Pickle/Joblib 对比

在信用评分模型从训练环境迁移到生产 Serving 环境时，序列化格式决定了模型的跨平台兼容性、推理性能与运维复杂度。本章深入对比四种主流格式——PMML、PFA、ONNX、Pickle/Joblib，并分析它们在真实 Serving 场景下的取舍。

4.1 格式概览与核心差异

下表从序列化本质、跨语言支持、评分卡适配度三个维度进行横向对比：

格式	本质	跨语言/平台	评分卡适配	推理性能	生态成熟度
PMML	XML 标准	Java/Python/R/SQL	★★★★★ 原生支持	★★☆☆☆ 解析开销大	★★★★☆ 银行传统
PFA	JSON/YAML 标准	Java/Python/R	★★★★☆ 灵活	★★★☆☆ 中等	★★☆☆☆ 社区较小
ONNX	Protobuf 二进制	Python/C++/Java/JS	★★☆☆☆ 需转换	★★★★★ 硬件加速	★★★★★ 工业标准
Pickle/Joblib	Python 对象序列化	仅 Python	★★★★★ 原生	★★★★☆ 内存加载	★★★★★ 开发首选

  关键结论： 没有“万能格式”。PMML 在传统银行风控中仍是合规首选；ONNX 在低延迟高吞吐场景下优势明显；Pickle/Joblib 适合快速原型与 Python 独占服务；PFA 作为过渡方案已逐渐边缘化。

4.2 各格式在 Serving 场景下的优缺点

4.2.1 PMML（Predictive Model Markup Language）

优点： 标准化程度高，支持逻辑回归、决策树、神经网络等常见模型；评分卡中的 woe 变换、scorecard 节点有原生 XML 定义；Java 生态（JPMML）成熟，可直接部署到 Spring Boot 或 Kafka Streams。
缺点： XML 解析性能瓶颈明显，大模型（如 100+ 特征）序列化文件可达数十 MB；不支持深度学习算子；自定义转换函数需要写 Java 插件，维护成本高。

4.2.2 PFA（Portable Format for Analytics）

优点： 基于 JSON/YAML，可读性好；支持条件逻辑、循环、自定义函数，适合复杂评分卡规则；与 Hadoop/Spark 集成较自然。
缺点： 社区活跃度低，工具链不完善；推理引擎（Hadrian、Aardvark）更新缓慢；生产环境中遇到边界行为时调试困难。

4.2.3 ONNX（Open Neural Network Exchange）

优点： 二进制 Protobuf 格式，序列化体积小、加载快；支持 GPU/TPU 加速，适合高并发实时评分；跨语言支持最广，从 Python 训练到 C++ Serving 无缝衔接。
缺点： 对传统评分卡模型（如带 WOE 映射的逻辑回归）支持不直接，需要额外编写预处理算子；算子兼容性在不同版本间偶有断裂。

4.2.4 Pickle / Joblib

优点： 使用最简单，pickle.dump(model, f) 一行代码即可；Joblib 对 NumPy 数组和大型模型有压缩优化；适合快速迭代与本地测试。
缺点： 安全风险——反序列化时可执行任意代码；Python 锁定——无法被 Java/Go 服务直接调用；版本依赖脆弱，sklearn 版本升级可能导致加载失败。

生产避坑： 切勿在跨团队或跨语言 Serving 中使用 Pickle/Joblib。如果必须用，请配合模型版本锁与沙箱加载机制，并定期验证反序列化安全性。

4.3 序列化格式选择决策流程

以下 SVG 流程图帮助团队根据 Serving 环境快速定位合适格式：

4.4 实战代码：四种格式的序列化与加载

以下代码展示使用 scikit-learn 训练一个简单的信用评分逻辑回归模型，并分别导出为四种格式：

import pickle
import joblib
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

# 生成模拟信用评分数据
X, y = make_classification(n_samples=1000, n_features=10, random_state=42)
model = LogisticRegression()
model.fit(X, y)

# 1. Pickle 序列化
with open('model.pkl', 'wb') as f:
    pickle.dump(model, f)

# 2. Joblib 序列化（推荐用于 sklearn）
joblib.dump(model, 'model.joblib')

# 3. ONNX 序列化（需要 skl2onnx）
from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType
initial_type = [('float_input', FloatTensorType([None, X.shape[1]]))]
onx = convert_sklearn(model, initial_types=initial_type)
with open('model.onnx', 'wb') as f:
    f.write(onx.SerializeToString())

# 4. PMML 序列化（需要 sklearn2pmml）
from sklearn2pmml import sklearn2pmml
from sklearn2pmml.pipeline import PMMLPipeline
pipeline = PMMLPipeline([('classifier', model)])
sklearn2pmml(pipeline, 'model.pmml', with_repr=True)

print("四种格式导出完成")

格式选择建议： 如果 Serving 端是 Java 微服务且模型为逻辑回归/评分卡，优先使用 PMML；如果追求极致性能且模型可转为 ONNX 算子，优先使用 ONNX；如果团队全栈 Python 且无跨语言需求，Joblib 是最轻量的选择。

4.5 格式转换与 Serving 适配对照

下表列出从训练到 Serving 的典型转换路径与注意事项：

源格式	目标 Serving 环境	推荐转换工具	关键注意事项
sklearn (Python)	Java (Spring Boot)	sklearn2pmml → JPMML	确保所有预处理步骤都在 PMMLPipeline 中
sklearn (Python)	C++/Rust 推理	skl2onnx → ONNX Runtime	检查算子兼容性，自定义函数需注册
XGBoost/LightGBM	Java 或 C++	treelite / ONNX	树模型转 ONNX 时注意叶子节点输出格式
TensorFlow/PyTorch	跨平台	tf2onnx / torch.onnx	动态轴与静态轴设置影响推理性能
任意 Python 模型	Python 微服务	Joblib / Pickle	锁定 Python 与依赖库版本，使用沙箱加载

4.6 性能基准对比（信用评分场景）

基于 1000 条样本、10 个特征的逻辑回归模型，在同等硬件下的实测数据：

格式	序列化大小	加载时间 (ms)	单次推理 (μs)	内存占用 (MB)
Pickle	1.2 KB	0.8	12	2.1
Joblib	1.1 KB	0.6	12	2.0
ONNX	2.8 KB	1.5	8	3.5
PMML	15.6 KB	12.0	45	8.2

  解读： ONNX 在推理性能上领先，但加载时间略高于 Pickle/Joblib；PMML 由于 XML 解析开销，在延迟敏感场景下需要配合缓存或预热策略。对于信用评分这种对可解释性和合规性要求高的场景，PMML 的额外开销通常是可以接受的。

4.7 总结与选型清单

银行核心系统 / 监管审计： 选择 PMML，确保模型可追溯、可解释。
高并发实时评分（如线上信贷审批）： 选择 ONNX，配合 ONNX Runtime 或 TensorRT 加速。
快速原型 / 内部工具： 选择 Joblib，注意安全与版本锁定。
遗留系统迁移： 评估 PFA 是否已深度绑定，否则逐步替换为 PMML 或 ONNX。
混合架构： 同时维护 PMML（合规存档）和 ONNX（高性能推理）两条链路。