1. 课程导论：为什么嵌入式端YOLO需要功耗优化？当前行业痛点与趋势

大家好，我是你们这门课的主讲。在嵌入式AI领域摸爬滚打了快十年，说实话，我见过太多「算法跑得动，电池撑不住」的尴尬局面了。

今天咱们开篇第一讲，不急着敲代码。先聊聊一个很现实的问题——为什么非得跟功耗过不去？

1.1 一个让我印象深刻的教训

我记得2019年，我帮一家做智能安防摄像头的公司做方案选型。他们选了一颗当时性能不错的NPU芯片，YOLOv3-tiny在板子上跑到了30FPS，客户看了直点头。结果呢？整机功耗测出来12W，散热片烫得能煎鸡蛋。最后产品上市不到三个月，退货率飙到15%——用户反映「充一次电撑不到半天」。

你看，性能再强，功耗失控就是废铁。

从那以后，我养成了一个习惯：做嵌入式AI项目，第一版跑通性能后，第二件事一定是挂上功率计。不测不知道，一测吓一跳。

1.2 当前行业痛点：三个「跑不动」

咱们把问题摊开来看。嵌入式端跑YOLO，功耗痛点主要集中在三个层面：

痛点维度	具体表现	我见过的真实案例
芯片算力瓶颈	CPU/GPU/NPU算力有限，跑一次推理要几百毫秒	某款扫地机器人，YOLOv5s推理一次耗时450ms，CPU占用率100%
内存带宽不足	模型参数和中间特征图频繁搬运，DDR带宽吃紧	我在做ADAS项目时，DDR读写功耗占了整机40%
散热与续航矛盾	无风扇设备靠被动散热，温升直接降频	某款无人机，飞了8分钟就因为过热强制降频，目标检测直接卡成PPT

说白了，嵌入式设备不是服务器。服务器可以堆散热、堆电源，但嵌入式设备——尤其是电池供电的设备——每一毫瓦都得精打细算。

1.3 为什么YOLO尤其「吃电」？

你可能会问：同样是目标检测，为什么YOLO的功耗问题特别突出？

我给大家拆解一下YOLO的「电老虎」本质：

• 卷积层密集：YOLO的核心是大量3×3卷积，一次卷积就要做几十万次乘加运算。算力需求大，功耗自然高。
• 特征图尺寸大：以YOLOv5s为例，输入640×640，第一层卷积输出的特征图就是320×320×32，光这一层的数据量就接近3MB。频繁的DMA传输，功耗蹭蹭往上涨。
• 后处理开销：NMS（非极大值抑制）虽然计算量不大，但涉及大量排序和比较，在CPU上跑的时候，功耗峰值往往出现在这个阶段。

1.4 行业趋势：从「跑得动」到「跑得久」

这几年我参加各种嵌入式AI峰会，明显感觉到风向变了。2018年大家还在比「谁的模型精度高」，2020年比「谁的帧率高」，到了2023年，「谁的能效比高」成了新赛道。

几个明显的趋势：

1. 芯片厂商开始卷「TOPS/W」：瑞萨、NXP、TI这些老牌厂商，新出的芯片都在宣传每瓦算力。比如瑞萨的RZ/V系列，号称能效比达到4TOPS/W。
2. 模型轻量化成为标配：YOLOv8-nano、YOLO-World这些轻量级变体，参数量只有几兆，但精度依然能打。
3. 动态功耗管理兴起：根据场景动态调整模型精度和帧率。比如夜间监控场景，降低帧率到5FPS，功耗直接砍半。
4. 软硬协同优化：不再是「算法跑在硬件上」，而是「算法为硬件定制」。比如针对NPU的量化、算子融合、内存复用。

1.5 本章知识体系总览

为了让大家对这门课有个整体认知，我画了一张知识框架图。你可以把它当作整个课程的地图：

1.6 这门课能帮你解决什么？

我不喜欢画大饼。咱们这门课，目标很明确：

• 学会量化功耗：不再凭感觉说「这个模型功耗高」，而是能用功率计、用公式、用数据说话。
• 掌握优化手段：从模型量化、剪枝、蒸馏，到系统级的DVFS、内存优化，每个技术点都有代码和实验。
• 能落地到真实项目：最后几章我会带着大家做一个完整的案例——从选型、训练、优化到部署，全程功耗监控。

1.7 写在开篇的话

做嵌入式AI，说白了就是「戴着镣铐跳舞」。算力有限、内存有限、功耗更有限。但正是这些限制，才让这个领域充满了挑战和乐趣。

我曾经为了把一个YOLOv5s模型压到2MB以内，连续加班两周，试了十几种量化策略。最后成功的时候，功耗从5.2W降到了1.8W，帧率只掉了3FPS。那种成就感，比单纯刷高精度爽多了。