VIP7
本课程属于：005-知识蒸馏与模型压缩工程 AI智能与边缘计算工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

知识蒸馏损失函数设计与温度系数调优全流程指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
知识蒸馏概述
什么是知识蒸馏？为什么需要知识蒸馏？…
知识蒸馏概述什么是知识蒸馏？…
02
教师-学生架构详解
教师模型的选择原则 · 学生模型的设计策略 · 架构差异对蒸馏效果的影响
教师学生架构详解
03
软标签与硬标签
软标签的概念与生成 · 硬标签的局限 · 温度系数T在软化概率分布中的作用
软标签硬标签
04
温度系数T的数学原理
Softmax函数回顾 · 温度T对概率分布的影响 · 高温与低温下的行为差异
温度系数T的数学…Softmax
05
蒸馏损失函数基础
交叉熵损失回顾 · KL散度损失 · 蒸馏损失的整体构成（L_KD = α…
蒸馏损失函数基础交叉熵损失回顾
06
软目标损失（L_soft）设计
教师输出的软标签与学生输出的软标签之… · 权重α的调节
soft软目标损失
07
硬目标损失（L_hard）设计
学生模型与真实标签的交叉熵损失 · 为何需要保留硬目标损失
hard硬目标损失
08
温度系数T的调优实验设计
T的常见取值范围（1-20） · 网格搜索策略 · 评估指标选择（准确率
温度系数T的调优…T的常见取值范围
09
温度系数T对梯度的影响
高温下的梯度平滑 · 低温下的梯度尖锐 · 梯度稳定性分析
温度系数T对梯度…高温下的梯度平滑
10
权重系数α的调优
α的物理意义 · α与T的联合调优 · α的常见取值策略（0.3
权重系数α的调优α的物理意义
11
多教师蒸馏损失设计
多教师输出的加权融合 · 注意力机制在教师融合中的应用 · 损失函数设计
多教师蒸馏损失设…多教师输出的加权…
12
自蒸馏（Self-Distillation）损失设计
自蒸馏的原理 · 历史教师与当前学生的损失设计 · 无需额外教师模型
Self-Distill…自蒸馏
13
特征层蒸馏损失设计
FitNets方法 · 中间层特征的匹配损失（MSE · L2）
特征层蒸馏损失设…FitNets
14
关系蒸馏损失设计
样本间关系（Pairwise Sim… · 关系矩阵的KL散度 · 对比学习视角
关系蒸馏损失设计Pairwise
15
结构化蒸馏损失设计
输出结构的约束（如树结构 · 图结构） · 结构化损失函数的设计原则
结构化蒸馏损失设…输出结构的约束
16
动态温度系数策略
温度随训练轮次衰减 · 自适应温度调节 · 基于验证集性能的动态调整
动态温度系数策略温度随训练轮次衰…
17
课程蒸馏（Curriculum Distillation）损失设计
由易到难的蒸馏策略 · 动态调整蒸馏难度 · 损失函数的阶段性设计
CurriculumDistillation
18
对抗蒸馏损失设计
对抗训练与蒸馏的结合 · 判别器损失设计 · 生成器与蒸馏的博弈
对抗蒸馏损失设计对抗训练
19
量化蒸馏损失设计
量化感知训练（QAT）中的蒸馏 · 量化误差的损失函数 · 比特宽度的自适应
量化蒸馏损失设计QAT
20
跨模态蒸馏损失设计
视觉-语言模型的蒸馏 · 模态对齐损失 · 对比损失在跨模态中的应用
跨模态蒸馏损失设…视觉
21
蒸馏损失的正则化设计
L1/L2正则化在蒸馏中的应用 · Dropout与蒸馏的结合 · 标签平滑
蒸馏损失的正则化…L1/L2
22
蒸馏损失的收敛性分析
损失函数的凸性分析 · 梯度消失与爆炸的预防 · 学习率调度策略
蒸馏损失的收敛性…损失函数的凸性分…
23
温度系数T的贝叶斯优化
贝叶斯优化的原理 · T作为超参数的搜索空间 · 高斯过程代理模型
温度系数T的贝叶…贝叶斯优化的原理
24
温度系数T的元学习调优
元学习框架下的T调优 · 基于梯度的元学习（MAML） · 快速适应新任务
温度系数T的元学…元学习框架下的T…
25
蒸馏损失在NLP任务中的设计
BERT蒸馏（DistilBERT · TinyBERT） · Transformer层的蒸馏损失
NLP蒸馏损失
26
蒸馏损失在CV任务中的设计
ResNet蒸馏 · 目标检测中的蒸馏（Feature M… · Relation Distillat…
CV蒸馏损失
27
蒸馏损失在推荐系统中的应用
用户-物品交互的蒸馏 · 序列推荐的蒸馏 · 多任务蒸馏损失设计
蒸馏损失推荐系统
28
蒸馏损失在强化学习中的应用
策略蒸馏 · Q值蒸馏 · 模仿学习与蒸馏的结合
蒸馏损失强化学习
29
蒸馏损失在联邦学习中的应用
联邦蒸馏（FedDistill） · 客户端模型的蒸馏 · 通信效率优化
蒸馏损失联邦学习
30
蒸馏损失调优的工程实践
PyTorch实现完整蒸馏流程 · 日志与可视化 · 模型部署与推理加速
蒸馏损失调优的工…PyTorch