VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NLP蒸馏损失函数调试与温度系数优化学习资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏入门
知识蒸馏的核心思想 · 为什么需要蒸馏 · 蒸馏的三种主要范式（离线
蒸馏入门知识蒸馏的核心思…
02
温度系数T
温度系数的数学定义 · T对Softmax分布的影响 · T的直觉理解（放大/缩小概率差异）
温度系数T温度系数的数学定…
03
KL散度损失
KL散度的数学公式 · 作为蒸馏损失函数的原理 · 不对称性的影响
KL散度损失
04
交叉熵损失
交叉熵与KL散度的关系 · 硬标签损失与软标签损失的区别 · 在蒸馏中的角色
交叉熵损失KL
05
蒸馏损失函数组合
α参数的含义 · 总损失 = α * 硬损失 + (1… · 权重平衡的艺术
蒸馏损失函数组合α参数的含义
06
温度系数调试实验
T从0.1到10的梯度实验 · 观察学生模型准确率变化曲线 · 找到最佳T的经验法则
温度系数调试实验T从0.1到10…
07
α参数调试实验
α从0到1的消融实验 · 不同任务的最佳α范围 · α与T的联合调优
α参数调试实验α从0到1的消融…
08
教师模型选择
大模型vs小模型作为教师 · 教师容量对学生的影响 · 多教师蒸馏的损失设计
教师模型选择vs
09
中间层蒸馏
FitNet方法 · 基于MSE的中间层损失 · 层间对齐策略
间层蒸馏FitNet
10
注意力转移损失
基于MSE的注意力图匹配 · 基于KL的注意力分布匹配 · 多头注意力的处理
注意力转移损失MSE
11
关系蒸馏
样本间关系保持 · 基于距离的关系损失 · 基于角度的关系损失
关系蒸馏样本间关系保持
12
对比学习蒸馏
对比损失在蒸馏中的应用 · 正负样本对构建 · 温度系数在对比蒸馏中的作用
对比学习蒸馏对比损失
13
自蒸馏方法
Born-Again Network… · 自蒸馏的损失函数设计 · 为什么自蒸馏有效
自蒸馏方法Born-Again
14
在线蒸馏
双模型互学习 · Deep Mutual Learni… · 协同训练策略
线蒸馏双模型互学习
15
动态温度系数
温度退火策略 · 自适应温度调节 · 基于置信度的温度调整
动态温度系数温度退火策略
16
损失函数可视化
绘制损失曲线 · 分析收敛行为 · 诊断训练问题
损失函数可视化绘制损失曲线
17
梯度分析
蒸馏损失的梯度形式 · 梯度消失问题 · 梯度裁剪策略
梯度分析蒸馏损失的梯度形…
18
数值稳定性
log(0)问题处理 · softmax数值溢出 · 混合精度训练下的蒸馏
数值稳定性log
19
多任务蒸馏
共享backbone的损失设计 · 任务权重调节 · 冲突梯度处理
多任务蒸馏backbone
20
序列模型蒸馏
Transformer蒸馏的损失设计 · 自回归损失的变体 · 序列级vs token级损失
序列模型蒸馏Transformer
21
数据增强与蒸馏
Mixup在蒸馏中的应用 · 对抗训练增强蒸馏 · 无标签数据利用
数据增强蒸馏
22
蒸馏训练技巧
学习率调度 · warmup策略 · 正则化与蒸馏的相互作用
蒸馏训练技巧学习率调度
23
评估指标
学生模型准确率 · 推理速度 · 模型压缩率
评估指标学生模型准确率
24
调试工具
TensorBoard可视化 · 损失分量监控 · 梯度直方图分析
调试工具TensorBoard
25
常见问题1
损失不下降 · 训练震荡 · 过平滑问题
常见问题1损失不下降
26
常见问题2
教师过强导致学生崩溃 · 温度过高导致信息丢失 · α设置不当
常见问题2教师过强导致学生…
27
工业案例1
BERT蒸馏到TinyBERT的损失… · 实际调参经验 · 部署效果
工业案例1BERT
28
工业案例2
图像分类ResNet蒸馏 · MobileNet学生网络 · 移动端部署优化
工业案例2ResNet
29
前沿进展
DIST · DKD · NKD等新型蒸馏损失
前沿进展DIST
30
综合实战
从零搭建蒸馏训练pipeline · 完整代码实现 · 调参全流程复盘
综合实战pipeline