VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏理论与实战精讲教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏初探
什么是知识蒸馏？为什么需要蒸馏？蒸馏…
蒸馏初探什么是知识蒸馏？…
02
教师与学生
教师网络与学生网络的定义 · 角色分工 · 典型架构对比
教师学生
03
软标签与硬标签
Softmax与温度系数T的作用 · 软标签的生成原理 · 硬标签与软标签的对比
软标签硬标签
04
蒸馏损失函数
KL散度详解 · 蒸馏损失（Distillation… · 学生损失（Student Loss）…
蒸馏损失函数KL
05
温度系数调参
温度T对软标签分布的影响 · T值选择的经验法则 · 不同任务下的T值对比实验
温度系数调参温度T对软标签分…
06
Logits蒸馏
基于输出层logits的蒸馏方法 · 公式推导 · 优缺点分析
Logits蒸馏
07
Feature蒸馏
基于中间层特征的蒸馏方法 · FitNet与Attention T…
Feature蒸馏
08
Relation蒸馏
基于样本间关系的蒸馏方法 · Relational Knowled…
Relation蒸馏
09
Self-Distillation
自蒸馏思想 · 深度监督（Deep Supervis… · 无需额外教师网络
Self-Distill…自蒸馏思想
10
Online Distillation
在线蒸馏框架 · DML（Deep Mutual Le…
OnlineDistillation
11
数据增强与蒸馏
数据增强对蒸馏效果的影响 · CutMix与MixUp在蒸馏中的应…
数据增强蒸馏
12
量化与蒸馏
模型量化基础 · 量化感知训练（QAT）与蒸馏的结合 · 混合精度蒸馏
量化蒸馏
13
剪枝与蒸馏
结构化剪枝与非结构化剪枝 · 剪枝后蒸馏恢复精度 · LayerDrop与蒸馏
剪枝蒸馏
14
蒸馏在NLP中的应用
BERT蒸馏 · DistilBERT · TinyBERT
NLP蒸馏
15
蒸馏在CV中的应用
图像分类蒸馏 · 目标检测蒸馏（如Mimic） · 语义分割蒸馏
CV蒸馏
16
蒸馏在推荐系统中的应用
召回阶段蒸馏 · 排序阶段蒸馏 · 多任务蒸馏
蒸馏推荐系统
17
跨模态蒸馏
视觉-语言模型蒸馏 · CLIP蒸馏 · 多模态对齐蒸馏
跨模态蒸馏视觉
18
联邦蒸馏
联邦学习背景 · 联邦蒸馏（FedDistill）原理 · 通信效率优化
联邦蒸馏联邦学习背景
19
生成式蒸馏
GAN中的蒸馏 · 扩散模型蒸馏 · Progressive Distil…
生成式蒸馏GAN
20
蒸馏工具与框架
PyTorch实现蒸馏的常用API · Hugging Face Disti… · TextBrewer介绍
蒸馏工具框架
21
蒸馏实战（一）
环境搭建与数据准备——CIFAR-1… · 教师模型ResNet-34预训练
蒸馏实战CIFAR-1
22
蒸馏实战（二）
编写蒸馏训练循环——温度T与损失权重… · 日志与可视化
蒸馏实战编写蒸馏训练循环
23
蒸馏实战（三）
Logits蒸馏代码实现——从零实现… · 训练学生模型ResNet-18
蒸馏实战Logits
24
蒸馏实战（四）
Feature蒸馏代码实现——基于H… · 中间层对齐
蒸馏实战Feature
25
蒸馏实战（五）
Attention Transfer… · 可视化注意力图
蒸馏实战Attention
26
蒸馏实战（六）
自蒸馏代码实现——在ResNet中插… · 自蒸馏训练
蒸馏实战ResNet
27
蒸馏实战（七）
NLP模型蒸馏——使用DistilB… · GLUE评测
蒸馏实战NLP
28
蒸馏实战（八）
目标检测模型蒸馏——以Faster… · Mimic损失实现
蒸馏实战Faster
29
蒸馏实战（九）
超参调优与实验分析——T · alpha · 学习率对精度的影响
蒸馏实战超参调优
30
蒸馏总结与前沿
蒸馏的局限性 · 未来趋势（如大模型蒸馏 · 蒸馏与强化学习结合）
蒸馏总结前沿