VIP20
本课程属于：027-Edge AI模型压缩：剪枝、蒸馏与稀疏化 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

15. Edge AI剪枝蒸馏联合训练：结构压缩与精度恢复策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
Edge AI背景 · 模型压缩需求 · 剪枝与蒸馏联合训练的整体价值与学习路…
课程导入Edge
02
基础知识
神经网络剪枝的基本概念 · 分类（结构化/非结构化 · 细粒度/粗粒度）与常见术语
基础知识神经网络剪枝的基…
03
基础知识
知识蒸馏的核心原理 · 软标签与温度系数 · 教师-学生网络架构及典型蒸馏损失函数
基础知识知识蒸馏的核心原…
04
核心概念
剪枝与蒸馏联合训练的动机——为何单独… · 蒸馏如何辅助精度恢复
核心概念剪枝
05
方法流程
联合训练的总体流程——预训练教师 · 学生网络剪枝 · 蒸馏微调
方法流程联合训练的总体流…
06
方法流程
结构化剪枝技术——通道剪枝 · 滤波器剪枝 · 分组剪枝的原理与实现要点
方法流程结构化剪枝技术
07
方法流程
非结构化剪枝与稀疏化——权重剪枝 · 稀疏训练 · N:M稀疏及其在Edge AI中的适…
方法流程非结构化剪枝
08
方法流程
剪枝率与稀疏度选择——如何根据硬件约…
方法流程剪枝率
09
方法流程
知识蒸馏的变体——特征蒸馏 · 关系蒸馏 · 注意力蒸馏及其在联合训练中的应用
方法流程知识蒸馏的变体
10
方法流程
联合训练策略——分阶段训练 · 交替优化 · 端到端联合训练的设计与比较
方法流程联合训练策略
11
方法流程
损失函数设计——剪枝损失 · 蒸馏损失 · 任务损失如何加权与平衡
方法流程损失函数设计
12
方法流程
温度与软标签调整——动态温度策略 · 软标签权重衰减对精度恢复的影响
方法流程温度
13
方法流程
教师网络选择与预训练——教师容量 · 教师蒸馏质量 · 教师-学生差距对联合训练的影响
方法流程教师网络选择
14
方法流程
剪枝与蒸馏的迭代循环——剪枝-蒸馏-…
方法流程剪枝
15
案例实战
基于PyTorch实现通道剪枝与知识…
案例实战PyTorch
16
案例实战
基于TensorFlow Lite的…
案例实战TensorFlow
17
案例实战
NVIDIA TensorRT与剪枝…
案例实战NVIDIA
18
案例实战
Transformer模型（如BER…
案例实战Transformer
19
案例实战
YOLOv5剪枝与蒸馏——在树莓派上…
案例实战YOLOv5
20
工具与框架
OpenVINO · TensorFlow Model O… · PyTorch Pruning等工具…
工具框架
21
工具与框架
蒸馏框架（如Distiller · TextBrewer）与剪枝库的集成…
工具框架
22
评估与调优
压缩后模型的精度 · FLOPs · 参数量
评估调优
23
评估与调优
超参数调优——剪枝率 · 蒸馏温度 · 损失权重
评估调优
24
常见问题
剪枝后精度骤降的原因分析——结构破坏 · 梯度消失 · 过拟合等
常见问题剪枝后精度骤降的…
25
常见问题
蒸馏失效的排查——教师过强 · 温度不当 · 特征不匹配等
常见问题蒸馏失效的排查
26
常见问题
联合训练中的训练不稳定——损失震荡 · 收敛缓慢 · 模式坍塌的解决方案
常见问题联合训练
27
综合提升
剪枝与量化 · 低秩分解等其他压缩技术的结合策略
综合提升剪枝
28
综合提升
自动化剪枝与蒸馏——神经架构搜索（N…
综合提升自动化剪枝
29
综合提升
边缘部署实战——将联合训练后的模型部… · 并优化推理性能
综合提升边缘部署实战
30
课程总结
核心要点回顾 · 常见误区 · 学习资源推荐与进阶方向
课程总结核心要点回顾