所属分类：金融财务与量化 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

模型剪枝量化与蒸馏压缩实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
模型压缩的必要性 · 三大技术（剪枝 · 量化
课程导入模型压缩的必要性
02
环境搭建与工具准备
PyTorch · TensorFlow · ONNX
环境搭建工具准备
03
模型剪枝基础
剪枝的概念 · 分类（结构化/非结构化 · 稀疏/稠密）
模型剪枝基础剪枝的概念
04
非结构化剪枝
权重剪枝 · 阈值设定 · 稀疏训练与重训练策略
非结构化剪枝权重剪枝
05
结构化剪枝
通道剪枝 · 滤波器剪枝 · 分组剪枝的原理与实现
结构化剪枝通道剪枝
06
剪枝实战
使用torch.nn.utils.p… · Pytorch Pruning）对R…
剪枝实战torch.nn.uti…
07
剪枝进阶
自动剪枝（AMC · AutoML） · 剪枝与稀疏训练结合
剪枝进阶AMC
08
模型量化基础
量化的概念 · 定点与浮点表示 · 量化误差来源
模型量化基础量化的概念
09
后训练量化（PTQ）
动态量化 · 静态量化 · 校准数据集的选择
PTQ后训练量化
10
量化感知训练（QAT）
模拟量化 · 直通估计器（STE） · 量化感知训练流程与PyTorch实现
QAT量化感知训练
11
量化实战
使用PyTorch的torch.qu… · 对比精度与推理速度
量化实战PyTorch
12
量化进阶
混合精度量化 · 低比特量化（INT4/INT8） · 二值化网络（BNN）简介
量化进阶混合精度量化
13
知识蒸馏基础
蒸馏的概念 · 软标签与温度系数 · 教师-学生网络架构
知识蒸馏基础蒸馏的概念
14
蒸馏方法
响应蒸馏（logits） · 特征蒸馏（中间层） · 关系蒸馏（样本间关系）
蒸馏方法logits
15
蒸馏实战
使用Hinton的经典蒸馏方法训练一… · 并评估性能
蒸馏实战Hinton
16
蒸馏进阶
自蒸馏 · 在线蒸馏 · 多教师蒸馏
蒸馏进阶自蒸馏
17
组合压缩策略
剪枝+量化+蒸馏的协同工作流 · 如何设计压缩流水线以最大化压缩率并保…
组合压缩策略剪枝+量化+蒸馏…
18
实战项目一
对ResNet-50进行剪枝+量化+… · 压缩至MobileNet级别 · 并部署到CPU/GPU
实战项目一ResNet-50
19
实战项目二
对YOLOv5目标检测模型进行压缩 · 包括通道剪枝 · INT8量化与蒸馏
实战项目二YOLOv5
20
实战项目三
对BERT模型进行蒸馏（如Disti… · 用于文本分类任务 · 并比较推理延迟
实战项目三BERT
21
模型部署与推理优化
ONNX导出 · TensorRT优化 · OpenVINO部署
模型部署推理优化
22
压缩模型评估与调试
精度-压缩率权衡 · 混淆矩阵分析 · 误差累积定位
压缩模型评估调试
23
常见问题与解决方案
剪枝后精度骤降 · 量化后输出偏差 · 蒸馏不收敛等问题的排查与修复
常见问题解决方案
24
工具与库详解
PyTorch内置剪枝/量化API · NNI · Intel Neural Compr…
工具库详解
25
行业案例研究
MobileNet · EfficientNet · TinyBERT等经典压缩模型的设计…
行业案例研究MobileNet
26
前沿趋势
结构化剪枝的硬件感知 · 量化感知搜索（QAS） · 蒸馏与生成模型（扩散模型）压缩等最新…
前沿趋势结构化剪枝的硬件…
27
综合实战
从零构建一个完整的模型压缩项目 · 包括需求分析 · 方案选型
综合实战从零构建一个完整…
28
性能基准与对比
不同压缩方法在ImageNet · COCO · GLUE等基准上的效果对比
性能基准对比
29
课程总结与进阶路径
回顾核心知识点 · 推荐学习资源 · 列表和开源项目
课程总结进阶路径
30
结课项目答辩
学员展示自己的压缩项目 · 讲师点评 · 并讨论压缩模型在实际业务中的落地经验
结课项目答辩学员展示自己的压…