3. 知识蒸馏入门

在金融模型轻量化的技术路线中，知识蒸馏是一条与剪枝、量化并行的核心路径。它的基本思想并不复杂：让一个体量小、推理快的学生模型，去模仿一个体量大、精度高的教师模型的行为。但真正落地时，关键问题在于——学生到底该学什么、怎么学、学多像。本节围绕教师-学生范式、软标签、温度系数与蒸馏损失函数四个要点展开，帮助你建立可实操的知识蒸馏认知框架。

一、核心原理：教师-学生范式与软标签

传统监督学习只告诉模型“正确答案是什么”，例如某笔交易属于欺诈类还是正常类。这种标签称为硬标签（hard label），它是一个one-hot向量，非0即1。而知识蒸馏的核心创新在于：教师模型输出的概率分布本身携带了丰富的“暗知识”。例如教师对某样本给出“欺诈0.85、可疑0.12、正常0.03”，这个分布说明教师认为该样本与“可疑”类也存在一定相似性。这种带概率的标签就是软标签（soft label）。

学生模型同时接受两类监督：一是真实硬标签，保证任务方向不偏；二是教师软标签，学习类间相似结构和决策边界。教师-学生范式因此可以理解为一种“带额外信息源的迁移学习”：教师不直接教答案，而是教“思考方式”。

二、温度系数：让软标签“软”得可控

教师模型直接输出的softmax概率往往过于尖锐，最大项接近1，其余接近0，暗知识被压缩。为此引入温度系数T，对logits进行缩放后再做softmax：

softmax(z_i / T) = exp(z_i / T) / Σ_j exp(z_j / T)

当T=1时就是标准softmax；T越大，分布越平滑，类间相对关系越充分暴露；T越小，分布越尖锐。通常训练学生时T取2～10，金融场景中常用3～5。需要注意：T只影响蒸馏阶段的软标签生成，学生模型推理时仍使用T=1的标准softmax。

三、蒸馏损失函数：软硬结合的训练目标

蒸馏损失通常由两部分加权组成。第一部分是软损失，衡量学生软输出与教师软标签之间的差异，常用KL散度；第二部分是硬损失，衡量学生输出与真实标签之间的差异，常用交叉熵。整体形式如下：

L_total = α · T² · KL( softmax(z_t/T) || softmax(z_s/T) )
        + (1 - α) · CE( y_true, softmax(z_s) )

其中α是软硬损失权重，通常取0.5～0.9，偏向软损失；T²是梯度缩放因子，因为温度升高会使softmax梯度变小，乘以T²可保持软损失梯度量级与硬损失相当。下面是一个PyTorch风格的蒸馏损失实现片段：

import torch
import torch.nn.functional as F

def distillation_loss(student_logits, teacher_logits, labels,
                      T=4.0, alpha=0.7):
    # 软损失：KL散度，注意log_softmax与softmax配对
    soft_student = F.log_softmax(student_logits / T, dim=1)
    soft_teacher = F.softmax(teacher_logits / T, dim=1)
    L_soft = F.kl_div(soft_student, soft_teacher,
                      reduction='batchmean') * (T * T)

    # 硬损失：标准交叉熵
    L_hard = F.cross_entropy(student_logits, labels)

    return alpha * L_soft + (1 - alpha) * L_hard

四、案例场景：金融风控模型蒸馏

假设你有一个基于BERT的信贷文本风控教师模型，参数量1.1亿，AUC为0.92，但单次推理延迟80ms，无法满足实时审批要求。目标是将知识蒸馏到一个6层、参数量1200万的学生模型，要求延迟低于15ms，AUC不低于0.90。

操作流程如下：

1. 用教师模型对全量训练集推理，保存每个样本的logits，形成软标签缓存。
2. 构建学生模型，初始化参数，设置T=4、α=0.7。
3. 每个batch同时读取软标签和真实标签，计算蒸馏损失并反向传播。
4. 训练结束后，将学生模型softmax温度恢复为T=1，进行推理评估。
5. 对比学生与教师的AUC、KS、延迟和显存占用，决定是否调整T或α。

可以看到，蒸馏后的学生模型在相同参数量下，AUC比仅用硬标签训练高出约2.7个百分点，说明软标签确实传递了有效的类间结构信息。

五、常见误区与复盘要点

• 误区一：温度T越大越好。 T过大会让分布过于均匀，类别间差异被抹平，学生反而学不到有效判别信息。建议在验证集上网格搜索T。
• 误区二：忽略T²缩放。 不乘T²时，软损失梯度会随T增大而衰减，导致软损失实际权重远低于设定值。
• 误区三：教师越强越好。 教师与学生容量差距过大时，学生难以拟合教师的复杂分布，蒸馏收益可能下降。可考虑多教师或助教式蒸馏。
• 误区四：蒸馏后忘记恢复T=1。 推理阶段必须使用标准softmax，否则输出概率不可解释，影响风控阈值设定。
• 复盘要点： 记录T、α、学生层数、教师AUC与学生AUC的对应关系，形成参数-效果对照表，便于后续章节的轻量化方案选型。

掌握教师-学生范式、软标签、温度系数与蒸馏损失函数这四个要素后，你已经具备搭建基础蒸馏流程的能力。下一步的关键，是在具体金融任务中反复调参，找到精度与效率的最佳平衡点。