所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

模型量化剪枝蒸馏全流程实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 模型压缩技术全景图与选型指南
课程导入学习目标
02
深度学习模型基础
神经网络架构 · 训练流程 · 权重与激活值分布特性
深度学习模型基础神经网络架构
03
模型压缩概述
量化 · 剪枝 · 蒸馏的定义
模型压缩概述量化
04
环境搭建与工具链
PyTorch · TensorFlow · ONNX
环境搭建工具链
05
模型量化基础
量化原理 · 定点与浮点表示 · 对称/非对称量化
模型量化基础量化原理
06
量化感知训练（QAT）
伪量化节点 · 直通估计器（STE） · QAT训练流程与技巧
QAT量化感知训练
07
训练后量化（PTQ）
校准数据集 · 动态/静态量化 · 量化误差分析与调优
PTQ训练后量化
08
量化实战案例
以ResNet-18为例 · 使用PyTorch实现PTQ与QAT…
量化实战案例ResNet-18
09
模型剪枝基础
结构化剪枝与非结构化剪枝 · 稀疏性 · 剪枝粒度（权重/通道/层）
模型剪枝基础结构化剪枝
10
剪枝方法
阈值剪枝 · L1/L2正则化剪枝 · 运动量剪枝
剪枝方法阈值剪枝
11
剪枝流程与工具
训练-剪枝-微调流程 · PyTorch剪枝API · torch.nn.utils.pru…
剪枝流程工具
12
剪枝实战案例
对MobileNetV2进行通道剪枝 · 评估FLOPs · 参数量与精度变化
剪枝实战案例MobileNetV2
13
知识蒸馏基础
软标签 · 温度系数 · 蒸馏损失函数（KL散度）
知识蒸馏基础软标签
14
蒸馏方法进阶
特征蒸馏 · 关系蒸馏 · 对比蒸馏
蒸馏方法进阶特征蒸馏
15
蒸馏实战案例
使用ResNet-50蒸馏ResNe… · 在CIFAR-10上实现精度提升
蒸馏实战案例ResNet-50
16
量化与剪枝结合
联合压缩策略 · 顺序选择 · 协同训练与注意事项
量化剪枝结合
17
量化与蒸馏结合
量化感知蒸馏 · 教师模型量化 · 蒸馏辅助QAT
量化蒸馏结合
18
剪枝与蒸馏结合
剪枝后蒸馏恢复 · 教师引导剪枝 · 稀疏蒸馏
剪枝蒸馏结合
19
三合一全流程
量化+剪枝+蒸馏的完整流水线设计与实…
三合一全流程量化+剪枝+蒸馏…
20
硬件部署与推理优化
ONNX导出 · TensorRT/OpenVINO转… · 推理引擎配置
硬件部署推理优化
21
边缘设备部署实战
在树莓派/Jetson/手机端部署压… · 性能与功耗测试
边缘设备部署实战Jetson
22
模型压缩评估指标
精度 · 参数量 · FLOPs
模型压缩评估指标精度
23
常见问题与调试
精度下降 · 训练不稳定 · 过拟合
常见问题调试
24
自动化压缩工具
Intel Neural Compr… · NVIDIA TensorRT · OpenVINO NNCF等使用
自动化压缩工具Intel
25
Transformer模型压缩
BERT · 等注意力模型的量化 · 剪枝与蒸馏特殊技巧
Transformer模型压缩
26
生成式模型压缩
扩散模型 · LLM的量化（ · AWQ）与蒸馏（MiniLM等）
生成式模型压缩扩散模型
27
模型压缩前沿
混合精度量化 · 动态剪枝 · 神经架构搜索（NAS）与压缩结合
模型压缩前沿混合精度量化
28
综合实战项目
从预训练模型出发 · 完成量化 · 剪枝
综合实战项目从预训练模型出发
29
课程总结与进阶路径
知识体系回顾 · 常见误区 · 学习资源与社区推荐
课程总结进阶路径
30
结业考核与项目答辩
设计一个压缩方案 · 提交实验报告并进行结果分析
结业考核项目答辩