3. 模型剪枝与蒸馏：结构化剪枝、知识蒸馏方法，减少模型参数量与计算量
在反欺诈模型 Serving 场景中，模型体积与推理速度直接决定了风控决策的实时性。模型剪枝（Pruning）与知识蒸馏（Knowledge Distillation）是两种互补的模型轻量化技术，能够在保持较高精度的前提下，显著减少参数量和计算量，从而降低延迟。
3.1 结构化剪枝：从细粒度到粗粒度的参数剔除
剪枝的核心思想是移除模型中冗余或不重要的参数。根据移除粒度的不同，主要分为非结构化剪枝与结构化剪枝。在 Serving 优化中，结构化剪枝因其对硬件友好的特性而成为首选。
| 剪枝类型 | 粒度 | 对硬件加速影响 | 反欺诈场景适用性 |
|---|---|---|---|
| 非结构化剪枝 | 单个权重 | 需稀疏计算库支持，通用硬件加速困难 | 低（依赖专用硬件或软件库） |
| 结构化剪枝 | 通道、卷积核、层 | 直接减少矩阵运算维度，通用硬件友好 | 高（可直接降低延迟） |
3.1.1 结构化剪枝流程
- 训练基准模型：训练一个高精度的反欺诈模型作为剪枝起点。
- 评估重要性：基于 L1/L2 范数、BN 层缩放因子或梯度信息，评估每个通道/卷积核的重要性。
- 剪枝操作：移除重要性低于阈值的结构单元，生成更窄的模型。
- 微调恢复：对剪枝后的模型进行少量 epoch 的微调，以恢复精度损失。
反欺诈实践提示：对于 DNN 或 Wide&Deep 模型，优先对特征交叉层和深层隐层进行通道级剪枝。保留 Embedding 层的完整维度，避免破坏稀疏特征的表达。
3.2 知识蒸馏：大模型教小模型
知识蒸馏通过让一个轻量的学生模型模仿一个复杂教师模型的输出行为，来传递“暗知识”。在反欺诈场景中，教师模型可以是集成模型或深层网络，学生模型则是一个专为低延迟 Serving 设计的精简网络。
3.2.1 蒸馏的关键要素
- 教师模型：高精度、高延迟的复杂模型（如 XGBoost + DeepFM 集成）。
- 学生模型：低延迟、参数量小的模型（如 2 层 MLP + 轻量交叉层）。
- 蒸馏温度 (T)：控制软标签的平滑程度。T 越高，软标签分布越均匀，携带的信息越丰富。
- 损失函数：通常为
L = α * L_hard(y_true, y_student) + β * L_soft(y_teacher, y_student)。
反欺诈蒸馏技巧：除了输出 logits 蒸馏，还可以进行 特征层蒸馏（让学生模型中间层特征逼近教师模型）和 关系蒸馏（保留样本间相似性关系），这对欺诈样本的边界学习尤为有效。
3.2.2 蒸馏流程对比
| 阶段 | 输入 | 教师模型 | 学生模型 | 输出 |
|---|---|---|---|---|
| 离线训练 | 历史欺诈样本 | 生成软标签 + 特征中间表示 | 学习软标签 + 硬标签 | 训练好的学生模型 |
| 在线 Serving | 实时交易特征 | 不参与推理 | 前向推理 | 欺诈概率（低延迟） |
3.3 剪枝与蒸馏的联合优化策略
在实际反欺诈 Serving 优化中，剪枝与蒸馏并非互斥，而是可以组合使用，形成“先蒸馏、后剪枝”或“边剪枝边蒸馏”的流水线。
注意：如果先对教师模型进行剪枝再进行蒸馏，可能会丢失教师模型中的关键知识。推荐顺序为：训练教师模型 → 蒸馏出学生模型 → 对学生模型进行结构化剪枝 → 微调。
3.3.1 联合优化效果对比
| 优化方案 | 参数量缩减 | 延迟降低 (P99) | AUC 损失 | 适用场景 |
|---|---|---|---|---|
| 仅结构化剪枝 | 40% | 35% | 0.3% | 模型本身已较精简 |
| 仅知识蒸馏 | 60% | 50% | 0.5% | 有现成复杂教师模型 |
| 蒸馏 + 剪枝 | 70% | 65% | 0.6% | 极致延迟要求场景 |
3.3.2 实施步骤
- 教师模型训练：使用全量特征训练一个高精度反欺诈模型（如 DeepFM + Attention）。
- 知识蒸馏：设计一个参数量为教师模型 1/5 的学生模型，使用温度 T=3~5 进行蒸馏训练。
- 结构化剪枝：对学生模型的 MLP 层和 Cross 层进行通道剪枝，剪枝率控制在 30%~50%。
- 微调与评估：在验证集上微调 5~10 个 epoch，监控 AUC 和 P99 延迟，确保精度不降级。
反欺诈实战指标：经过蒸馏+剪枝后，某风控模型参数量从 120MB 降至 35MB，单次推理延迟从 15ms 降至 5ms，AUC 仅下降 0.2%，完全满足 100ms 内完成欺诈决策的 SLA 要求。