1. 课程导论与嵌入式AI现状：为什么YOLO需要量化压缩？
大家好，欢迎来到《嵌入式端YOLO量化压缩实战指南》。我是这门课的主讲，一个在嵌入式AI领域摸爬滚打了七八年的工程师。
开篇第一讲，咱们不急着写代码。先聊聊一个根本问题：为什么好好的YOLO模型，非要折腾什么量化压缩？
说白了，就是“理想很丰满，现实很骨感”。你在服务器上用着RTX 4090，YOLOv8跑得飞起，mAP 50%+。但当你兴冲冲地把模型往一个成本几十块钱的摄像头模组里一放……嗯，卡死了。或者，根本放不进去。
我当年第一个嵌入式AI项目，就是把一个YOLOv3-tiny往海思3516上移植。模型编译通过了，一跑，帧率只有0.5。那感觉，就像你开惯了法拉利，突然换了个拖拉机。从那时起我就明白，在嵌入式端，算力和存储就是硬通货，而量化压缩，就是帮你省钱的利器。
嵌入式设备的“紧箍咒”：算力与存储瓶颈
我们先看看嵌入式设备到底有多“穷”。这里我列了个对比表，大家感受一下差距。
| 对比维度 | 服务器/PC (RTX 4090) | 嵌入式设备 (瑞芯微RK3588) | 嵌入式设备 (MCU级) |
|---|---|---|---|
| 算力 (TOPS) | 330 (FP16) | 6 (INT8) | 0.001~0.1 (INT8) |
| 内存带宽 | ~1000 GB/s | ~50 GB/s | ~1 GB/s |
| 内存容量 | 24 GB (GDDR6X) | 8~16 GB (LPDDR4) | 512 KB ~ 2 MB (SRAM) |
| 功耗 | 450W | 5~15W | 0.1~1W |
看到没？从服务器到MCU，算力差了三个数量级，内存更是差了上万倍。你一个YOLOv8s模型，FP32权重文件大概50MB，推理一次需要几GB的临时内存。这在服务器上不是事儿，但在嵌入式设备上，直接就是“内存溢出”的报错。
为什么会这样？因为嵌入式设备的设计哲学是“够用就好”。它要控制成本、功耗和体积。你不能指望一个智能门锁里塞一块4090，对吧？
YOLO模型的“体重”问题
YOLO系列模型，从v3到v8，精度越来越高，但“体重”也越来越大。我们来看看几个典型模型的“三围”：
| 模型 | 参数量 | 模型大小 (FP32) | 计算量 (GFLOPs) |
|---|---|---|---|
| YOLOv3-tiny | 8.9M | ~35 MB | 5.6 |
| YOLOv5s | 7.2M | ~28 MB | 16.5 |
| YOLOv8s | 11.2M | ~44 MB | 28.6 |
| YOLOv8m | 25.9M | ~103 MB | 78.9 |
一个YOLOv8m模型，FP32格式下103MB。很多嵌入式设备的Flash存储才128MB，你放个模型就快满了，系统还跑不跑？更别提推理时的内存占用了。
所以，量化压缩不是“锦上添花”，而是“雪中送炭”。它是让YOLO模型真正落地到嵌入式设备的必经之路。
量化压缩：到底在“压”什么？
量化压缩，核心思想就一句话：用更少的比特数，去表示模型的参数和计算。
我们平时训练模型，默认用FP32（32位浮点数）。每个权重和激活值，都用32个比特来存。这很精确，但也很“奢侈”。
量化，就是把这些FP32的数值，映射到INT8（8位整数）甚至INT4上。你想想看，从32位降到8位，模型体积直接缩小4倍！内存带宽占用也缩小4倍。很多硬件（如NPU、DSP）对INT8计算有专门的加速单元，算力还能翻几番。
我习惯把量化比作“压缩饼干”。FP32是松软的面包，体积大，口感好（精度高）。INT8是压缩饼干，体积小，扛饿（速度快），但口感差点（精度略有损失）。我们的目标，就是做出“口感”尽量接近面包的压缩饼干。
核心收益总结：
- 模型体积缩小：FP32 → INT8，体积减小75%。
- 内存带宽降低：同样带宽下，数据吞吐量提升4倍。
- 计算速度提升：INT8计算单元通常比FP32快2~4倍。
- 功耗降低：更少的数据搬运和更简单的计算，意味着更低的功耗。
一张图看懂：为什么我们需要量化压缩？
下面这张图，是我自己画的，把整个逻辑串了一下。你可以看到，量化压缩是连接“高性能算法”和“低功耗硬件”的桥梁。
我的经验之谈：
别一上来就想把YOLOv8x量化后塞进MCU。那不现实。先评估你的硬件上限，再选择合适的YOLO变体（比如nano、tiny版本），最后才是量化。我曾经有个项目，非要用YOLOv5m，量化后精度掉了5个点，客户不接受。后来换成YOLOv5n，不量化精度就够，还省了压缩的功夫。所以，选对模型，比盲目压缩更重要。
避坑指南：量化不是万能的
量化压缩虽然好，但也不是没有代价。这里有几个坑，我替大家先踩过了。
- 精度损失：这是最直接的。从FP32到INT8，信息有损，精度必然会掉。通常掉1~3个mAP点是可以接受的。如果掉得太多，就要考虑量化感知训练（QAT）了，这个我们后面会详细讲。
- 敏感层问题：不是所有层都对量化“友好”。比如一些激活值分布特别不均匀的层，量化后误差会很大。我遇到过YOLO的检测头，量化后直接不输出了。后来用了混合精度量化，只把敏感层保留为FP16，问题才解决。
- 硬件兼容性：不同厂家的NPU，对量化格式的支持不一样。有的只支持对称量化，有的支持非对称。有的支持INT8，有的只支持INT16。做量化前，一定要先看芯片的量化白皮书。我当年在瑞芯微的RK3399Pro上就吃过这个亏，量化完的模型，NPU根本不认。
警告：千万不要在项目交付前一周才开始做量化！量化是一个需要反复调试和验证的过程。一定要把量化验证的环节，提前到项目中期。否则，你会发现精度不够，但已经没有时间重新训练了。
本章小结
好了，第一讲就到这里。我们聊了嵌入式设备的算力与存储瓶颈，也分析了YOLO模型为什么需要量化压缩。核心就一句话：量化压缩，是让YOLO从“云端”走向“边缘”的必修课。