VIP20
本课程属于：003-知识蒸馏 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

教师网络设计与特征迁移优化调试实战训练资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
教师网络概述
知识蒸馏背景 · 教师网络定义 · 学生网络定义
教师网络概述知识蒸馏背景
02
教师网络架构设计
经典CNN架构（ResNet · VGG） · Transformer架构（ViT
教师网络架构设计CNN
03
特征迁移理论基础
特征图对齐 · 注意力迁移 · 关系知识蒸馏
特征迁移理论基础特征图对齐
04
特征迁移实战技巧
中间层特征选择 · 损失函数设计（MSE · KL散度
特征迁移实战技巧间层特征选择
05
优化调试方法论
超参数调优（温度系数 · 损失权重） · 梯度分析
优化调试方法论超参数调优
06
教师网络设计
ResNet-50作为教师 · 设计原则（深度 · 宽度
教师网络设计ResNet-50
07
学生网络设计
MobileNetV3作为学生 · 计算约束下的设计 · 通道剪枝与结构搜索
学生网络设计MobileNetV3
08
特征对齐层设计
1x1卷积适配器 · 自适应池化 · 全连接映射层
特征对齐层设计x1
09
损失函数组合
蒸馏损失（KL散度） · 特征损失（MSE） · 任务损失（交叉熵）
损失函数组合KL
10
训练脚本搭建
PyTorch框架 · 数据加载器（CIFAR-100） · 模型定义
训练脚本搭建PyTorch
11
温度系数调试
温度对软标签的影响 · 温度扫描实验 · 最佳温度选择策略
温度系数调试温度对软标签的影…
12
损失权重调试
特征损失权重扫描 · 任务损失与蒸馏损失平衡 · 多损失协同优化
损失权重调试特征损失权重扫描
13
中间层选择策略
浅层 · 中层 · 深层特征对比
间层选择策略浅层
14
注意力迁移实现
基于激活的注意力图 · 基于梯度的注意力图 · 多头注意力蒸馏
注意力迁移实现基于激活的注意力…
15
对比学习蒸馏
正负样本对构建 · 对比损失函数 · 特征空间正则化
对比学习蒸馏正负样本对构建
16
梯度分析工具
梯度直方图 · 梯度范数监控 · 梯度裁剪
梯度分析工具梯度直方图
17
特征可视化技术
t-SNE降维 · 特征图热力图 · PCA分析
特征可视化技术t-SNE
18
过拟合诊断与缓解
训练/验证损失曲线 · 早停策略 · 数据增强
过拟合诊断缓解
19
欠拟合诊断与缓解
学习率调整 · 模型容量增加 · 特征迁移强度增强
欠拟合诊断缓解
20
消融实验设计
组件移除实验 · 控制变量法 · 统计显著性检验
消融实验设计组件移除实验
21
超参数搜索策略
网格搜索 · 随机搜索 · 贝叶斯优化
超参数搜索策略网格搜索
22
多教师蒸馏
集成教师网络 · 特征融合策略 · 教师投票机制
多教师蒸馏集成教师网络
23
跨架构迁移
CNN到Transformer迁移 · 不同分辨率适配 · 通道数对齐技巧
跨架构迁移CNN
24
数据增强对蒸馏的影响
MixUp · CutMix · RandAugment
数据增强对蒸馏的…MixUp
25
蒸馏中的标签噪声处理
软标签平滑 · 置信度过滤 · 鲁棒损失函数
蒸馏标签噪声处理
26
模型压缩与加速
量化感知蒸馏 · 剪枝后蒸馏 · 蒸馏后量化
模型压缩加速
27
实战项目
CIFAR-100分类任务 · 教师ResNet-56 · 学生MobileNetV2
实战项目CIFAR-100
28
实战项目
ImageNet子集分类任务 · 教师ViT-Base · 学生DeiT-Tiny
实战项目ImageNet
29
性能评估与对比
准确率 · FLOPs · 参数量
性能评估对比
30
总结与最佳实践
常见问题FAQ · 调试检查清单 · 生产环境部署建议
最佳实践FAQ