课程导论：嵌入式AI部署的挑战与机遇，量化与剪枝在其中的核心作用，课程学习路径与目标
嵌入式AI部署正从“可选项”变为“必选项”。从智能摄像头、TWS耳机、工业PLC到车载域控制器，越来越多的AI模型需要运行在功耗受限、算力有限、内存紧张的MCU或边缘SoC上。然而，训练好的深度学习模型动辄数十MB、算力需求高达数十GFLOPs，直接部署几乎不可能。量化与剪枝正是解决这一矛盾的两大核心技术：前者通过降低数值精度压缩模型体积并加速推理，后者通过剔除冗余连接或通道减少计算量。本课程将系统讲解这两项技术的原理、工程实现与调优方法，帮助学员建立从模型训练到嵌入式部署的完整知识闭环。
1.1 嵌入式AI部署的核心挑战与量化剪枝的定位
嵌入式AI部署面临的核心矛盾在于：深度学习模型追求“大而全”的精度，而嵌入式硬件追求“小而快”的实时响应。以典型的目标检测模型YOLOv5s为例，其FP32权重约14MB，单帧推理需要约16 GFLOPs计算量。若直接部署在常见的Cortex-M7内核MCU（主频480MHz，内置1MB Flash）上，仅模型存储就超出Flash容量14倍，推理延迟更是无法接受。这种“算力墙”和“存储墙”构成了嵌入式AI落地的第一道障碍。
量化与剪枝正是突破这两道墙的关键技术。量化通过将FP32权重映射到INT8或INT4等低比特表示，可将模型体积压缩至原来的1/4甚至1/8，同时利用硬件对低精度运算的优化（如ARM的DOTP指令、NPU的INT8加速单元）实现2-4倍的推理加速。剪枝则从结构上剔除冗余参数——研究表明，训练好的神经网络中30%-50%的权重对最终精度贡献极小，剪掉这些参数后模型体积和计算量同步下降，且精度损失可通过微调恢复。
1.2 量化技术：原理、方法与工程判断
量化核心原理是将连续浮点数值映射到离散整数空间。以最常见的INT8量化为例，其数学本质是：r = S × (q - Z)，其中r为原始浮点值，q为量化后的整数，S为缩放因子（scale），Z为零点（zero point）。量化的关键挑战在于如何选择S和Z，使得量化误差最小。根据校准数据集的统计分布，可选用MinMax、Percentile、KL散度等不同校准方法。MinMax简单直接，但对离群点敏感；KL散度通过最小化信息损失来选择阈值，在NVIDIA TensorRT等工业级工具中被广泛采用。
工程判断方法需要关注三个维度：量化粒度（逐张量、逐通道）、量化对称性（对称/非对称）、量化范围（权重/激活/梯度）。权重通常采用逐通道对称量化，因为不同通道的权重分布差异较大；激活值则因数据分布动态变化，常采用逐张量非对称量化。实际部署前，必须使用验证集评估量化前后模型的精度差异，通常要求Top-1精度损失不超过1%。
| 量化类型 | 位宽 | 体积压缩比 | 典型加速比 | 适用场景 |
|---|---|---|---|---|
| FP32（基线） | 32 | 1× | 1× | 服务器端训练与验证 |
| FP16 | 16 | 2× | 1.5-2× | GPU/部分NPU |
| INT8 | 8 | 4× | 2-4× | 主流嵌入式SoC/NPU |
| INT4 | 4 | 8× | 3-6× | 极端资源受限场景 |
案例拆解：某工业视觉检测项目需在瑞芯微RK3588平台上部署缺陷检测模型（ResNet-18，FP32约45MB）。初始直接部署失败：模型加载耗时3.2秒，单帧推理延迟达85ms，远超产线20ms的节拍要求。分析发现瓶颈在两方面：模型体积超出DDR带宽预算，且FP32运算未利用NPU的INT8加速单元。采用INT8逐通道量化后，模型体积降至11.5MB，推理延迟降至22ms，但精度从98.2%降至96.8%，超出1%的容忍阈值。进一步分析发现，模型最后一层全连接层的权重分布存在长尾效应，导致量化误差放大。解决方案是对敏感层（最后两个卷积层）保留FP16，其余层使用INT8混合精度量化。最终精度恢复至97.9%，推理延迟25ms，满足产线需求。
model.half()或model.int8()而不进行校准和微调，往往导致精度骤降。正确的流程是：准备校准数据集 → 统计激活分布 → 选择校准方法 → 量化模拟（QAT或PTQ） → 验证精度 → 必要时进行量化感知训练微调。
1.3 剪枝技术：从非结构化到结构化
剪枝核心原理基于神经网络的过参数化特性。剪枝分为非结构化剪枝和结构化剪枝两大类。非结构化剪枝（如权重剪枝）将低于阈值的单个权重置零，产生稀疏矩阵，理论上压缩率高，但实际硬件加速困难，需要特殊稀疏计算库支持。结构化剪枝（如通道剪枝、滤波器剪枝）直接移除整个卷积核或通道，改变网络结构，虽然压缩率略低，但能直接获得硬件加速收益，是工业部署的主流选择。
剪枝操作流程遵循“训练-剪枝-微调”的经典范式：
- 训练基线模型：确保模型精度达到部署要求
- 重要性评估：使用L1范数、BN层缩放因子或Taylor展开等方法评估每个通道/滤波器的重要性
- 剪枝决策：设定剪枝率（如30%），移除重要性得分最低的通道
- 结构重组：生成新的模型结构，调整后续层的输入通道数
- 微调恢复：使用较小学习率在训练集上微调若干epoch，恢复精度
案例拆解：某语音唤醒词项目在Cortex-M4F MCU（256KB Flash，128KB RAM）上部署小型CNN（3个卷积层+2个全连接层，FP32约800KB）。MCU Flash容量仅能容纳原始模型的32%，且RAM不足以缓存中间激活值。采用通道剪枝策略：第一层卷积保留70%通道，第二层保留60%，第三层保留50%，全连接层从128维剪至64维。剪枝后模型体积降至280KB，满足Flash限制；但精度从97%降至93.5%，唤醒率下降明显。通过知识蒸馏辅助微调——使用原始模型作为教师网络，剪枝后模型作为学生网络——经过20个epoch蒸馏训练，精度恢复至96.2%。最终部署后推理延迟从45ms降至18ms，满足实时唤醒需求。
1.4 课程学习路径与目标设定
本课程共30章，按照“原理→工具→实践→调优”四阶段递进设计。第一阶段（第1-8章）夯实理论基础，涵盖量化与剪枝的数学原理、主流算法（PTQ、QAT、结构化剪枝等）及精度评估方法。第二阶段（第9-16章）聚焦工具链实战，包括PyTorch量化API、ONNX Runtime、TensorRT、TVM等工业级工具的使用与对比。第三阶段（第17-24章）深入硬件适配，针对ARM CPU、瑞芯微NPU、寒武纪MLU、昇腾310等主流嵌入式平台，讲解算子映射、内存优化和推理引擎集成。第四阶段（第25-30章）通过完整项目案例（智能摄像头、工业质检、语音助手、自动驾驶感知）串联全部知识点，并讲解模型压缩后的安全性与鲁棒性验证。
课程目标设定为三个层次：基础层——理解量化与剪枝的核心原理，能独立完成简单模型的压缩与部署；进阶层——掌握混合精度量化、自动化剪枝搜索等高级技术，能针对特定硬件优化模型；专家层——具备设计端到端部署方案的能力，能解决精度-速度-功耗的多目标优化问题。每章均配备可运行的代码示例和实验数据，学员需完成至少3个完整项目实战才能达到“精通”水平。