所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

知识蒸馏与深度学习模型压缩

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 知识蒸馏与模型压缩的关系
课程导入学习目标
02
深度学习模型基础
神经网络结构 · 训练流程 · 过拟合与泛化
深度学习模型基础神经网络结构
03
模型压缩全景
剪枝 · 量化 · 低秩分解
模型压缩全景剪枝
04
知识蒸馏核心概念
教师网络 · 学生网络 · 软标签
知识蒸馏核心概念教师网络
05
Hinton蒸馏方法
经典KD公式推导 · 温度T的作用 · 软标签与硬标签的加权融合
Hinton蒸馏方法
06
蒸馏损失函数设计
交叉熵 · KL散度 · MSE
蒸馏损失函数设计交叉熵
07
特征蒸馏方法
FitNets · 注意力转移 · SP（Similarity Pres…
特征蒸馏方法FitNets
08
关系蒸馏方法
基于样本间关系（如距离 · 角度 · 图结构）的知识蒸馏
关系蒸馏方法基于样本间关系
09
自蒸馏与互蒸馏
自蒸馏（Self-Distillat… · 互蒸馏（Mutual Distill… · 在线蒸馏与离线蒸馏的差异
自蒸馏互蒸馏
10
数据增强与蒸馏结合
Mixup · CutMix · 对抗训练
数据增强蒸馏结合
11
跨模态与跨任务蒸馏
视觉-语言蒸馏 · 目标检测蒸馏 · 语义分割蒸馏
跨模态跨任务蒸馏
12
量化基础
量化原理 · 定点与浮点 · 对称/非对称量化
量化基础量化原理
13
剪枝基础
结构化剪枝与非结构化剪枝 · 通道剪枝 · 稀疏训练
剪枝基础结构化剪枝
14
低秩分解与张量分解
SVD分解 · CP分解 · Tucker分解在卷积核和全连接层压…
低秩分解张量分解
15
轻量网络设计
MobileNet · ShuffleNet · EfficientNet
轻量网络设计MobileNet
16
知识蒸馏在NLP中的应用
BERT蒸馏（DistilBERT · TinyBERT · MobileBERT）
NLP知识蒸馏
17
知识蒸馏在CV中的应用
图像分类 · 目标检测（YOLO蒸馏） · 实例分割
CV知识蒸馏
18
知识蒸馏在推荐系统与多模态中的应用
推荐模型蒸馏 · 跨模态对齐蒸馏 · 多教师蒸馏
知识蒸馏推荐系统
19
教师网络选择与训练
教师模型的设计 · 预训练 · 集成教师
教师网络选择训练
20
学生网络架构设计
学生模型的选择 · 宽度与深度 · 与教师的结构对齐
学生网络架构设计学生模型的选择
21
蒸馏训练技巧
学习率调度 · 优化器选择 · 正则化
蒸馏训练技巧学习率调度
22
模型压缩工具与框架
PyTorch · TensorFlow · ONNX
模型压缩工具框架
23
模型压缩评估指标
模型大小 · FLOPs · 推理延迟
模型压缩评估指标模型大小
24
实战项目一
基于CIFAR-10/ImageNe…
实战项目一CIFAR-10/Ima…
25
实战项目二
基于YOLOv5/v8的目标检测模型…
实战项目二YOLOv5/v8
26
实战项目三
基于BERT的文本分类模型蒸馏（Ti…
实战项目三BERT
27
常见问题与调试
蒸馏失效 · 教师过强/过弱 · 温度敏感
常见问题调试
28
前沿进展
对比蒸馏 · 掩码蒸馏 · 扩散模型蒸馏
前沿进展对比蒸馏
29
综合项目
设计一个完整的模型压缩方案（从需求分… · 方法选择 · 实验对比
综合项目设计一个完整的模…
30
课程总结与进阶路径
知识蒸馏与模型压缩的边界 · 未来趋势 · 推荐与开源资源
课程总结进阶路径