01
量化训练概述
什么是模型量化、为什么需要量化、对称/非对称量化、精度与性能权衡
基础原理
02
量化基础理论
定点数与浮点数、scale/zero-point、映射函数、误差分析
理论数学
03
训练后量化 (PTQ)
PTQ原理、校准数据集、KL散度与熵校准、PyTorch/TensorFlow实战
PTQ实战
04
量化感知训练 (QAT)
QAT原理、FakeQuant、直通估计器STE、QAT实战流程
QAT训练
05
混合精度量化
混合精度策略、敏感层分析、逐层/逐通道量化、混合精度实战
精度调优
06
量化工具链 (上)
PyTorch量化包、TensorFlow Lite、ONNX Runtime量化
工具PyTorch
07
量化工具链 (下)
NVIDIA TensorRT、Intel OpenVINO、Apple Core ML量化
TensorRTOpenVINO
08
边缘计算概述
边缘定义、边缘vs云、设备分类(MCU/GPU/NPU/FPGA)、典型场景
边缘概念
09
边缘计算硬件架构
ARM CPU、GPU(Mali/Adreno)、NPU(寒武纪/地平线)、FPGA
硬件架构
10
边缘计算软件栈
嵌入式Linux、RTOS、TFLite Micro/ONNX Runtime/OpenCV DNN
软件框架
11
模型压缩技术 (上)
权重剪枝(非结构化/结构化)、L1/L2/梯度剪枝、剪枝实战
剪枝压缩
12
模型压缩技术 (下)
知识蒸馏(软/硬标签)、蒸馏温度、蒸馏+量化结合
蒸馏压缩
13
模型部署流程
模型导出(ONNX/TFLite)、转换、验证、端侧部署流水线
部署流水线
14
边缘推理引擎对比
TFLite vs ONNX Runtime vs OpenVINO vs TensorRT vs ncnn
引擎对比
15
性能基准测试
延迟、吞吐量、内存、功耗、FPS、模型大小等指标
基准指标
16
算子优化 (上)
卷积优化(im2col/winograd)、GEMM、内存布局NHWC/NCHW
算子优化
17
算子优化 (下)
激活函数优化(ReLU/Sigmoid)、池化、拼接与切片优化
算子激活
18
内存优化
内存复用、内存池、张量生命周期、就地操作(in-place)
内存性能
19
多线程与异步推理
线程池、流水线并行、异步队列、CPU/GPU协同
多线程异步
20
实战案例1 · 图像分类
MobileNet/ResNet量化+部署到树莓派
树莓派分类
21
实战案例2 · 目标检测
YOLOv5/YOLOv8量化+部署到Jetson Nano
Jetson检测
22
实战案例3 · 语义分割
DeepLab/UNet量化+部署到RK3588
RK3588分割
23
实战案例4 · 语音识别
Wav2Vec2/Whisper量化+部署到手机端
语音手机
24
实战案例5 · NLP模型
BERT/TinyBERT量化+部署到边缘服务器
NLPBERT
25
性能调优方法论
Profiling工具(perf/nsys/Android Studio)、瓶颈分析、迭代优化
调优Profiling
26
常见性能问题与解决方案
推理慢、内存溢出、精度下降、模型加载慢
问题排查
27
量化与部署的自动化
AutoML量化、NAS边缘、自动调优(NNI/Optuna)
AutoML自动化
28
边缘计算安全与隐私
模型加密、TEE、联邦学习+量化
安全隐私
29
前沿趋势
低比特量化(INT4/INT2)、稀疏量化、动态量化、硬件感知量化
前沿INT4
30
综合项目实战
从训练到部署全流程：需求分析→选型→量化→优化→部署→测试→迭代
全流程项目