01
模型压缩概述
为什么需要模型压缩？三大目标：速度、体积、功耗，主流技术路线全景图。
入门全景
02
模型量化基础
什么是量化？对称/非对称量化，量化参数 scale、zero_point 计算原理。
量化原理
03
训练后量化 (PTQ)
PTQ 流程、校准数据集选择，以及实际项目中踩过的坑。
PTQ实战
04
量化感知训练 (QAT)
QAT 原理，fake量化节点插入，微调恢复精度的方法。
QAT微调
05
混合精度量化
不同层敏感度分析，为每层选择最优 bit 位宽。
精度调优
06
权值共享与聚类
K-means 聚类实现权值共享，查表法压缩模型。
聚类查表
07
哈夫曼编码
熵编码原理，对量化后权值进行无损压缩。
编码无损
08
低秩分解 (SVD)
奇异值分解原理，分解全连接层与卷积层。
SVD低秩
09
张量分解 (CP/Tucker)
高阶张量分解技术，移动端部署经验分享。
张量移动端
10
知识蒸馏基础
教师-学生网络，软/硬标签，温度系数调节。
蒸馏温度
11
蒸馏策略进阶
离线/在线/自蒸馏，多教师蒸馏架构。
策略多教师
12
结构化剪枝
L1/L2 范数剪枝，通道剪枝与精度恢复。
剪枝通道
13
非结构化剪枝
细粒度剪枝，稀疏矩阵存储格式 CSR/CSC。
稀疏CSR
14
剪枝调度策略
一次性剪枝 vs 渐进式剪枝，学习率重调度。
调度渐进
15
轻量化网络设计
MobileNet 深度可分离卷积，ShuffleNet 通道混洗。
轻量MobileNet
16
轻量化注意力机制
ECA、SE 模块在压缩场景下的应用。
注意力ECA
17
模型压缩工具链 (上)
TensorRT 量化优化，ONNX Runtime 图优化。
TensorRTONNX
18
模型压缩工具链 (下)
OpenVINO、TFLite、NCNN 部署实践对比。
OpenVINONCNN
19
硬件感知的压缩
NPU/GPU/CPU 不同策略，内存带宽优化。
硬件带宽
20
压缩模型的精度评估
设计评估指标，避免过拟合到验证集。
评估指标
21
压缩模型的鲁棒性
对抗攻击下的表现，一次惨痛教训复盘。
鲁棒性对抗
22
边缘端部署实战
压缩 YOLOv5 部署树莓派，帧率 5→30fps。
边缘YOLOv5
23
移动端部署实战
BERT 压缩部署 Android，推理速度提升 4 倍。
移动端BERT
24
云端部署实战
ResNet-50 压缩部署 AWS，成本降低 60% 。
云端成本
25
自动化压缩 (AutoML)
使用 NNI / Optuna 自动搜索量化/剪枝策略。
AutoMLNNI
26
联邦学习中的模型压缩
保护隐私下传输压缩梯度。
联邦隐私
27
大语言模型 (LLM) 压缩
GPTQ、AWQ、SmoothQuant 等最新技术。
LLMGPTQ
28
扩散模型 (Diffusion) 压缩
蒸馏 UNet，减少采样步数。
扩散UNet
29
模型压缩的未来趋势
硬件-算法协同设计，领域思考。
趋势协同
30
综合项目实战
从0到1完成完整模型压缩与部署流水线。
实战全栈