VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

教师学生网络蒸馏训练与损失函数设计从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏初探
什么是知识蒸馏？为什么需要它？教师-…
蒸馏初探什么是知识蒸馏？…
02
核心概念
软标签 vs 硬标签 · 温度参数T的作用与直觉
核心概念vs
03
损失函数基石
KL散度与交叉熵 · 蒸馏损失的标准形式
损失函数基石KL
04
经典方法
Hinton蒸馏论文精读 · 匹配logits与匹配概率
经典方法Hinton
05
温度调参
温度T对软标签分布的影响 · 如何选择最佳温度
温度调参温度T对软标签分…
06
权重平衡
蒸馏损失与学生损失之间的权重α如何设…
权重平衡蒸馏损失
07
特征层蒸馏
FitNets方法 · 中间层特征对齐的动机与实现
特征层蒸馏FitNets
08
注意力迁移
AT损失 · 利用注意力图传递空间知识
注意力迁移AT
09
关系蒸馏
RKD方法 · 样本间关系（距离 · 角度）的迁移
关系蒸馏RKD
10
对比学习蒸馏
CRD方法 · 利用对比学习拉近师生表征
对比学习蒸馏CRD
11
自蒸馏
没有教师怎么办？自己教自己 · Born-Again Network…
自蒸馏没有教师怎么办？…
12
在线蒸馏
师生同步训练 · Deep Mutual Learni…
线蒸馏师生同步训练
13
多教师蒸馏
如何融合多个教师的知识 · 集成策略
多教师蒸馏如何融合多个教师…
14
跨模态蒸馏
从文本到图像 · 从RGB到深度 · 模态对齐
跨模态蒸馏从文本到图像
15
目标检测蒸馏
GID方法 · 分类头与回归头的蒸馏差异
目标检测蒸馏GID
16
语义分割蒸馏
结构化知识蒸馏 · 像素级与区域级损失
语义分割蒸馏结构化知识蒸馏
17
NLP中的蒸馏
BERT蒸馏 · DistilBERT与TinyBER…
NLP蒸馏
18
图神经网络蒸馏
GNN蒸馏 · 节点级与图级知识迁移
图神经网络蒸馏GNN
19
损失函数设计（上）
基于logits的损失变体 · MSE vs KL
损失函数设计logits
20
损失函数设计（中）
基于特征的损失 · L2 · L1与余弦相似度
损失函数设计基于特征的损失
21
损失函数设计（下）
基于关系的损失 · 图结构保持
损失函数设计基于关系的损失
22
训练技巧
两阶段训练 vs 联合训练 · 学习率调度
训练技巧vs
23
学生架构选择
为什么小模型不一定好？深度 vs 宽…
学生架构选择vs
24
数据增强
蒸馏中的数据增强策略 · 如何让教师更鲁棒
数据增强蒸馏
25
评估指标
学生模型性能评估 · 不仅仅是准确率
评估指标学生模型性能评估
26
实战项目（一）
CIFAR-100上复现Hinton… · 完整代码
实战项目CIFAR-100
27
实战项目（二）
ImageNet上蒸馏ResNet-… · 性能对比
实战项目ImageNet
28
实战项目（三）
YOLOv5目标检测蒸馏 · mAP提升
实战项目YOLOv5
29
前沿进展
DKD · NKD · KD-Loss最新论文解读
前沿进展DKD
30
总结与展望
蒸馏的局限性与未来方向 · 部署落地建议
蒸馏的局限性未来方向