4. ONNX 模型优化与验证：量化、精度与推理速度的平衡

将训练好的 PyTorch / TensorFlow 风控模型导出为 ONNX 格式后，直接部署往往无法满足实时交易检测的延迟要求（通常要求单笔推理 < 10 ms）。本章聚焦于使用 ONNX Runtime 对模型进行 量化（Quantization） 与 精度验证（Accuracy Validation），确保在推理速度大幅提升的同时，异常交易识别的准确率不出现不可接受的下降。

4.1 量化策略选择：动态量化 vs. 静态量化 vs. 整型量化

ONNX Runtime 支持三种主流量化方式，适用于不同的风控模型场景。下表对比了它们的原理、精度影响与适用场景：

4.2 量化实施流程（静态量化示例）

以下步骤展示如何使用 ONNX Runtime Python API 对已导出的 ONNX 模型执行静态量化：

1. 加载 ONNX 模型：使用 onnx.load() 读取原始 FP32 模型。
2. 准备校准数据：从历史交易日志中抽取 200 条特征向量，封装为 CalibrationDataReader。
3. 配置量化参数：设置 QuantType.QInt8，选择 QuantizationMode.IntegerOps。
4. 执行量化：调用 quantize_static() 生成 INT8 模型。
5. 保存量化模型：输出 model_quantized.onnx。

import onnx
from onnxruntime.quantization import quantize_static, QuantType, QuantizationMode, CalibrationDataReader
import numpy as np

# 1. 加载原始模型
model_fp32 = onnx.load("fraud_detection.onnx")

# 2. 自定义校准数据读取器
class FraudCalibrationReader(CalibrationDataReader):
    def __init__(self, features: np.ndarray):
        self.data = features
        self.index = 0
    def get_next(self):
        if self.index < len(self.data):
            batch = self.data[self.index:self.index+32]
            self.index += 32
            return {"input": batch}
        return None

calib_features = np.load("calib_features.npy")  # shape: (200, feature_dim)
calib_reader = FraudCalibrationReader(calib_features)

# 3. 执行静态量化
quantized_model_path = "fraud_detection_quantized.onnx"
quantize_static(
    model_input="fraud_detection.onnx",
    model_output=quantized_model_path,
    calibration_data_reader=calib_reader,
    quant_format=QuantType.QInt8,
    per_channel=True,
    reduce_range=True
)
print(f"量化模型已保存至: {quantized_model_path}")

4.3 精度验证：对比 FP32 与 INT8 的 AUC 与 KS

量化完成后，必须使用独立的测试集（至少包含 10,000 条标注样本）对 FP32 原始模型与 INT8 量化模型进行对比验证。核心指标包括：

• AUC（Area Under Curve）：衡量模型整体排序能力，风控场景要求 AUC > 0.85。
• KS（Kolmogorov-Smirnov）：区分正负样本的最大差距，通常要求 KS > 0.4。
• Recall@95% Precision：在 95% 精确率下的召回率，反映异常交易捕获能力。

import onnxruntime as ort
import numpy as np
from sklearn.metrics import roc_auc_score, ks_2samp

# 加载测试数据
X_test = np.load("test_features.npy")
y_test = np.load("test_labels.npy")

# FP32 推理
sess_fp32 = ort.InferenceSession("fraud_detection.onnx")
pred_fp32 = sess_fp32.run(None, {"input": X_test.astype(np.float32)})[0]

# INT8 推理
sess_int8 = ort.InferenceSession("fraud_detection_quantized.onnx")
pred_int8 = sess_int8.run(None, {"input": X_test.astype(np.float32)})[0]

# 计算指标
auc_fp32 = roc_auc_score(y_test, pred_fp32)
auc_int8 = roc_auc_score(y_test, pred_int8)
ks_fp32 = ks_2samp(pred_fp32[y_test==1], pred_fp32[y_test==0]).statistic
ks_int8 = ks_2samp(pred_int8[y_test==1], pred_int8[y_test==0]).statistic

print(f"FP32 - AUC: {auc_fp32:.4f}, KS: {ks_fp32:.4f}")
print(f"INT8 - AUC: {auc_int8:.4f}, KS: {ks_int8:.4f}")
print(f"AUC 下降: {(auc_fp32 - auc_int8)*100:.2f}%")

4.4 推理速度基准测试：延迟与吞吐量

精度验证通过后，需在目标硬件（CPU / GPU）上执行速度基准测试。重点关注以下指标：

import time
import numpy as np

def benchmark(model_path, input_data, iterations=1000):
    sess = ort.InferenceSession(model_path)
    latencies = []
    for _ in range(iterations):
        start = time.perf_counter()
        sess.run(None, {"input": input_data})
        latencies.append((time.perf_counter() - start) * 1000)  # ms
    latencies.sort()
    return {
        "P50": np.median(latencies),
        "P99": latencies[int(0.99 * len(latencies))],
        "mean": np.mean(latencies)
    }

# 使用 32 条交易特征作为单次推理输入
sample = np.random.randn(1, 128).astype(np.float32)

fp32_bench = benchmark("fraud_detection.onnx", sample)
int8_bench = benchmark("fraud_detection_quantized.onnx", sample)

print(f"FP32 P50: {fp32_bench['P50']:.2f} ms, P99: {fp32_bench['P99']:.2f} ms")
print(f"INT8 P50: {int8_bench['P50']:.2f} ms, P99: {int8_bench['P99']:.2f} ms")
print(f"加速比: {fp32_bench['P50'] / int8_bench['P50']:.2f}x")

4.5 量化前后推理流程对比（SVG 架构图）

下图展示了从 FP32 原始模型到 INT8 量化模型的推理链路变化，突出量化带来的算子替换与数据流优化：

4.6 精度与速度的权衡决策矩阵

当量化后的精度下降超过阈值（如 AUC 下降 > 1%）时，需要根据业务容忍度做出决策。下表提供了不同场景下的推荐行动：

4.7 验证通过标准与交付物

完成量化与验证后，需输出以下交付物并满足验收标准：

• 量化模型文件：fraud_detection_quantized.onnx（INT8）
• 精度对比报告：包含 FP32 vs INT8 的 AUC、KS、Recall@95% Precision 对比表
• 延迟基准报告：P50 / P99 / 吞吐量 / 加速比，附测试环境说明（CPU 型号、核心数、内存）
• 验收标准：AUC 下降 ≤ 0.5%，P99 延迟 ≤ 10 ms，加速比 ≥ 2.0x