VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏损失函数设计与优化调试实战训练资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏概述
知识蒸馏的起源与发展 · 核心思想（Teacher-Stude… · 为什么需要蒸馏（模型压缩
蒸馏概述知识蒸馏的起源
02
损失函数基础
损失函数在深度学习中的作用 · 分类任务常用损失（CrossEntr… · KL散度）
损失函数基础损失函数
03
Logits蒸馏（上）
Hinton原始论文解读 · 温度参数T的作用与物理意义 · 软标签与硬标签的加权融合
Logits蒸馏
04
Logits蒸馏（下）
温度T的调参技巧（网格搜索 · 自适应温度） · 不同任务下的T值经验范围
Logits蒸馏
05
特征蒸馏（上）
FitNet方法（中间层特征对齐） · Attention Transfer… · SP（Similarity Pres…
特征蒸馏FitNet
06
特征蒸馏（下）
NST（Neuron Selecti… · VID（Variational In… · CRD（Contrastive Re…
特征蒸馏NST
07
关系蒸馏（RKD）
关系蒸馏的核心思想（样本间关系） · 距离关系蒸馏（Distance-wi… · 角度关系蒸馏（Angle-wise）
RKD关系蒸馏
08
自蒸馏（Self-Distillation）
自蒸馏的定义与动机 · Born-Again Network… · 深度监督（Deep Supervis…
Self-Distill…自蒸馏
09
在线蒸馏（Online Distillation）
离线蒸馏 vs 在线蒸馏 · DML（Deep Mutual Le… · 协作学习（Co-learning）损…
OnlineDistillation
10
蒸馏中的正则化损失
L2正则化在蒸馏中的应用 · 标签平滑（Label Smoothi… · Dropout在Student网络中…
蒸馏正则化损失
11
多任务蒸馏损失
多任务学习中的蒸馏挑战 · 共享Backbone的蒸馏策略 · 任务特定Head的蒸馏
多任务蒸馏损失多任务学习
12
目标检测中的蒸馏损失（上）
检测任务蒸馏的难点（分类+回归） · 分类分支的蒸馏（使用背景类过滤） · 回归分支的蒸馏（GIoU/SIoU损…
目标检测蒸馏损失
13
目标检测中的蒸馏损失（下）
LD（Localization Di… · GID（General Instan… · Mask Head蒸馏（实例分割）
目标检测蒸馏损失
14
NLP中的蒸馏损失
Transformer模型的蒸馏（D… · TinyBERT） · 层数缩减与损失设计
NLP蒸馏损失
15
GAN与生成模型中的蒸馏
GAN压缩的挑战 · 生成器蒸馏损失（L1+L2+Perc… · 判别器蒸馏
GAN生成模型
16
损失函数的权重调度
固定权重 vs 动态权重 · 课程学习（Curriculum Le… · 基于验证集的自适应权重
损失函数的权重调…vs
17
梯度分析与损失调试
梯度消失/爆炸在蒸馏中的表现 · 梯度裁剪（Gradient Clip… · 损失曲线分析（过拟合
梯度分析损失调试
18
超参数优化（HPO）
蒸馏超参数全景图（T · α · λ
HPO超参数优化
19
过拟合与欠拟合调试
Student网络过拟合的表现（损失… · 早停法（Early Stopping… · 数据增强缓解过拟合
过拟合欠拟合调试
20
损失函数的数值稳定性
NaN/Inf损失的常见原因 · Softmax数值稳定性（LogSo… · KL散度的数值实现技巧
损失函数的数值稳…NaN/Inf
21
对比学习式蒸馏
对比损失（InfoNCE）在蒸馏中的… · MoCo蒸馏 · SimCLR蒸馏
对比学习式蒸馏InfoNCE
22
结构化知识蒸馏
结构化知识的概念（树 · 图 · 序列）
结构化知识蒸馏结构化知识的概念
23
跨模态蒸馏
视觉-语言模型蒸馏（CLIP · BLIP） · 模态对齐损失（Contrastive…
跨模态蒸馏CLIP
24
量化感知蒸馏（QAT）
量化感知训练与蒸馏的结合 · 量化损失（LSQ · PACT）与蒸馏损失的联合优化
QAT量化感知蒸馏
25
剪枝与蒸馏联合优化
结构化剪枝+蒸馏 · 非结构化剪枝+蒸馏 · 剪枝后蒸馏的损失调整
剪枝蒸馏联合优化
26
联邦学习中的蒸馏
联邦蒸馏（FedDistill）的核… · 本地模型蒸馏损失 · 全局模型聚合策略
联邦学习蒸馏
27
蒸馏损失的可解释性
损失函数的梯度可视化 · 特征图激活映射（Grad-CAM）对… · 注意力图对比
蒸馏损失的可解释…损失函数的梯度可…
28
蒸馏框架与工具
PyTorch蒸馏库（Textboo… · Distiller） · MMRazor框架
蒸馏框架工具
29
综合实战项目（上）
项目背景（CIFAR-100分类） · Baseline搭建（ResNet3… · 多种蒸馏损失对比实验
综合实战项目CIFAR-100
30
综合实战项目（下）
超参数搜索与最优配置 · 消融实验（Ablation Stud… · 最终模型部署（ONNX导出）
综合实战项目超参数搜索