VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏特征迁移与模型压缩全流程优化调试案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
蒸馏入门
什么是知识蒸馏？为什么需要蒸馏？蒸馏… · 特征蒸馏 · 关系蒸馏）概览
蒸馏入门什么是知识蒸馏？…
02
环境搭建
PyTorch环境配置 · CUDA与cuDNN安装 · 实验项目结构设计
环境搭建PyTorch
03
教师模型选型
ResNet · ViT · Swin Transformer等主…
教师模型选型ResNet
04
学生模型设计
轻量化网络设计原则（MobileNe… · ShuffleNet · EfficientNet-Lite）
学生模型设计MobileNe
05
Logit蒸馏实战
KL散度与温度系数T的数学原理 · PyTorch实现标准KD Loss
Logit蒸馏实战
06
特征迁移基础
中间层特征对齐的意义 · FitNet（Hint Learni…
特征迁移基础间层特征对齐的意…
07
注意力迁移（AT）
基于注意力图的特征迁移 · 计算教师与学生注意力图的MSE Lo…
AT注意力迁移
08
关系蒸馏（RKD）
样本间关系（距离 · 角度）的迁移 · 结构化知识保持
RKD关系蒸馏
09
对比学习蒸馏
利用对比学习拉近教师与学生表征 · InfoNCE Loss在蒸馏中的应…
对比学习蒸馏利用对比学习拉近…
10
多教师蒸馏
集成多个教师模型的知识 · 加权融合策略与训练技巧
多教师蒸馏集成多个教师模型…
11
自蒸馏（Self-Distillation）
教师即学生 · 深度监督与时间集成（Mean Tea…
Self-Distill…自蒸馏
12
结构化剪枝基础
L1/L2结构化剪枝 · 通道剪枝与层剪枝的数学原理
结构化剪枝基础L1/L2
13
剪枝与蒸馏协同
先剪枝后蒸馏 vs 渐进式剪枝蒸馏 · 实验对比分析
剪枝蒸馏协同
14
权重量化基础
对称/非对称量化 · MinMax与KL散度校准方法 · INT8量化原理
权重量化基础对称
15
量化感知训练（QAT）
模拟量化操作 · FakeQuantize节点插入 · 训练后量化微调
QAT量化感知训练
16
蒸馏与量化联合
量化感知蒸馏（QKD） · 在量化模型中迁移全精度教师知识
蒸馏量化联合
17
神经架构搜索（NAS）入门
基于蒸馏的NAS · 利用教师模型指导学生架构搜索
NAS神经架构搜索
18
超参数调优
温度T · 蒸馏权重α · 特征层选择策略
超参数调优温度T
19
损失函数设计
组合Loss（KD Loss + F… · 多目标优化
损失函数设计Loss
20
训练稳定性优化
学习率调度（Cosine Annea… · Warmup） · 梯度裁剪
训练稳定性优化Cosine
21
过拟合与欠拟合
蒸馏中的过拟合现象 · 数据增强（Mixup · CutMix）在蒸馏中的应用
过拟合欠拟合
22
调试工具与技巧
梯度可视化 · 特征图可视化 · 中间层相似度（CKA）分析
调试工具梯度可视化
23
性能瓶颈分析
Profiling工具使用（PyTo… · NVIDIA Nsight） · IO与计算瓶颈定位
性能瓶颈分析Profiling
24
模型部署流程
ONNX导出 · TensorRT优化 · OpenVINO转换
模型部署流程ONNX
25
图像分类案例
CIFAR-100上完整蒸馏流程 · ResNet34教师→MobileN…
图像分类案例CIFAR-100
26
目标检测案例
YOLOv8教师→Tiny-YOLO… · 特征金字塔（FPN）层蒸馏技巧
目标检测案例YOLOv8
27
NLP模型压缩
BERT教师→TinyBERT学生 · Transformer层数剪枝与蒸馏
NLP模型压缩
28
工业级案例
从ResNet152蒸馏到Mobil… · 在手机端达到95%以上精度保留
工业级案例ResNet152
29
自动化蒸馏流水线
构建一键蒸馏脚本 · 集成剪枝 · 量化
自动化蒸馏流水线构建一键蒸馏脚本
30
前沿趋势与总结
知识蒸馏最新论文解读（2024-20… · 未来方向与个人建议
前沿趋势知识蒸馏最新论文…