1. 课程导入
欢迎进入《边缘AI功耗与实时性优化》课程。在开始学习具体优化技术之前，我们需要先建立一张清晰的“全局地图”：边缘AI到底是什么、它为什么在今天爆发、它面临的两大核心约束是什么，以及本课程将如何一步步带你解决这些问题。
一、什么是边缘AI
边缘AI（Edge AI）是指在靠近数据产生源头的设备或本地网关上直接运行人工智能推理（有时也包括轻量训练）的技术形态。这里的“边缘”是相对于“云端”而言的：数据不必全部上传到远程数据中心，而是在摄像头、手机、MCU、工业网关、车载域控制器、机器人主控等终端侧完成计算与决策。
从系统结构看，边缘AI通常由四层构成：感知层（摄像头、麦克风、IMU、雷达等传感器）、计算层（CPU、GPU、NPU、DSP、FPGA等异构算力）、模型层（量化、剪枝后的神经网络或传统机器学习模型）以及执行层（电机、屏幕、继电器、告警等执行机构）。理解这四层之间的数据流与约束关系，是后续功耗与实时性优化的基础。
二、发展背景：为什么边缘AI在今天爆发
边缘AI并非全新概念，但近五年才真正进入规模化落地阶段，背后有四个驱动力：
- 算力下沉：手机NPU算力已超过10 TOPS，MCU级AI加速器（如Arm Ethos-U55、CMSIS-NN）让毫瓦级推理成为可能。
- 模型轻量化：MobileNet、YOLO-Nano、TinyML等技术将模型压缩到几十KB至几MB，适配嵌入式内存。
- 隐私与合规：医疗、安防、工业数据不出本地，边缘推理天然满足数据主权要求。
- 网络不可靠：工厂、矿山、车载等场景无法保证稳定低延迟回传，本地决策成为刚需。
与此同时，边缘设备的资源天花板始终存在：电池容量、散热面积、芯片成本、内存带宽都远不及云端。这就引出了本课程的两条主线——功耗优化与实时性优化。
三、核心挑战：功耗与实时性的矛盾
功耗与实时性在边缘AI中往往相互拉扯。提高算力频率可以降低延迟，但功耗呈超线性增长；降低功耗进入休眠，又可能错过实时响应窗口。理解这一矛盾，需要从三个维度分析：
| 维度 | 功耗侧表现 | 实时性侧表现 | 典型优化手段 |
|---|---|---|---|
| 计算 | 动态功耗 ∝ 频率 × 电压² | 推理延迟 ∝ 计算量 / 算力 | 算子融合、量化、稀疏化 |
| 内存 | 数据搬运功耗常高于计算本身 | 内存带宽决定吞吐上限 | 片上缓存复用、权重驻留 |
| 调度 | 频繁唤醒增加静态功耗 | 任务排队引入抖动 | DVFS、事件驱动、优先级调度 |
| 模型 | 参数量与访存次数正相关 | 层数越深延迟越高 | 剪枝、蒸馏、NAS搜索 |
四、案例场景：智能摄像头中的边缘AI
以一个电池供电的智能安防摄像头为例：它需要持续检测画面中的人形，并在检测到异常时唤醒主控上传告警。若采用“每帧都跑完整检测模型”的方案，功耗会迅速耗尽电池；若采用“低频检测+事件触发”的方案，又可能漏检快速移动目标。
典型优化路径如下：
# 伪代码：事件驱动 + 分级推理
while True:
frame = camera.capture() # 低功耗采集
motion = lightweight_motion_detect(frame) # 毫瓦级运动检测
if motion:
result = npu.run(tiny_person_detector) # 唤醒NPU推理
if result.confidence > 0.8:
mcu.wakeup() # 唤醒主控上传
upload_alert(result)
sleep_until_next_frame() # 进入低功耗休眠
这个案例体现了本课程的核心思想：不是单纯追求模型最小，而是通过分级唤醒、事件驱动、算力匹配，在功耗预算内满足实时性要求。
五、学习目标与课程框架
完成本课程后，你将能够：
- 理解边缘AI的功耗构成与实时性指标，建立量化分析能力。
- 掌握模型轻量化、量化、剪枝、蒸馏等降低计算量的方法。
- 掌握DVFS、休眠调度、算子融合等运行时优化技术。
- 能够针对具体硬件平台制定功耗与实时性的联合优化方案。
- 具备使用 profiling 工具定位瓶颈、验证优化效果的能力。
接下来，我们将从功耗的物理来源与度量方法开始，逐步构建你的边缘AI优化知识体系。