端侧推理基础：典型场景、硬件平台与功耗特性

端侧AI推理（On-Device Inference）是指在智能手机、物联网设备、车载终端、AR/VR眼镜等边缘设备上直接运行神经网络模型，而非将数据上传至云端处理。与云端推理相比，端侧推理的核心优势在于低延迟、数据隐私安全、离线可用以及无需持续网络连接。然而，端侧设备的电池容量、散热能力和计算资源都极为有限，这使得功耗优化成为端侧推理系统设计中不可回避的核心议题。理解典型应用场景、硬件平台架构以及各计算单元的功耗特性，是后续制定sleep mode策略与任务调度方案的前提基础。

2.1 端侧AI推理的典型场景与负载特征

端侧AI推理的场景可以按照任务的时间特性划分为三大类：持续型任务、突发型任务和周期型任务。持续型任务如视频流实时分析、语音助手待机唤醒，要求推理引擎在长时间内保持活跃状态，这类场景对平均功耗极为敏感，因为任何微小的功耗增加都会在数小时的运行中被放大。突发型任务如用户点击拍照时的场景识别、打开应用时的内容推荐，特点是高计算峰值但持续时间短，这类场景更关注峰值功耗与散热限制，同时任务结束后的快速降频和sleep进入策略至关重要。周期型任务如传感器数据融合、健康监测中的心率分析，以固定间隔触发推理，这类场景的核心优化点在于如何利用任务间隙进入低功耗状态，同时保证唤醒延迟不影响到下一个周期的任务执行。

从功耗优化视角看，不同场景对推理延迟和功耗的权衡要求截然不同。以智能音箱的语音唤醒为例，设备需要7×24小时监听麦克风数据，但真正触发唤醒词检测的概率极低。此时系统设计的关键在于：在无唤醒词时，让DSP或NPU以极低功耗运行轻量级检测模型，而主CPU和GPU保持深度sleep状态；一旦检测到候选唤醒词，再快速唤醒高性能计算单元执行完整语音识别。这种"分级唤醒"策略直接决定了设备待机功耗能否从数百毫瓦降至数十毫瓦级别。

2.2 硬件平台：CPU、GPU与NPU的架构差异

端侧设备的异构计算平台通常包含三种主要计算单元，各自具有截然不同的功耗-性能特性。CPU（ARM Cortex-A系列或Apple Silicon的Firestorm/Icestorm核心）擅长处理控制密集型任务和串行逻辑，其功耗特性受DVFS（动态电压频率调整）影响显著。现代移动CPU采用大小核架构（big.LITTLE或DynamIQ），小核（如Cortex-A55）在0.5W以下即可运行，而大核（如Cortex-X系列）在峰值频率下功耗可超过5W。对于端侧推理，CPU通常用于模型预处理、后处理以及不适合并行化的算子。

GPU（如Mali、Adreno、Apple GPU）采用SIMT（单指令多线程）架构，适合大规模并行计算，尤其在卷积神经网络中表现优异。GPU的功耗与活跃计算单元数量强相关，空闲时可通过clock gating和power gating降低功耗，但从深度sleep状态唤醒GPU需要数百微秒，这限制了其在低延迟场景中的使用。NPU（神经网络处理单元）是专门为AI推理设计的ASIC，如高通Hexagon Tensor Accelerator、华为达芬奇架构、苹果ANE。NPU在定点运算（INT8/INT16）下能效比极高，典型功耗仅为CPU的1/10到1/5，但灵活性较差，对不支持算子的处理需要回退到CPU或GPU。

2.3 功耗构成与关键影响因素

端侧芯片的功耗由两部分构成：静态功耗（漏电流功耗）和动态功耗（开关功耗）。静态功耗由晶体管的亚阈值漏电流和栅极漏电流引起，与制程工艺和温度强相关——7nm工艺下，静态功耗可占总功耗的30%以上，且温度每升高10°C，漏电流约翻倍。动态功耗遵循公式 P_dynamic = C × V² × f，其中C为负载电容，V为工作电压，f为时钟频率。由于电压与功耗呈平方关系，降低电压是功耗优化的最有效手段，这也是DVFS技术的理论基础。

在端侧推理场景中，sleep mode的设计本质上是管理静态功耗与唤醒开销之间的权衡。当推理任务完成后，系统可以选择进入不同深度的sleep状态：浅度sleep（如WFI指令）仅暂停CPU时钟，保留缓存内容，唤醒延迟极短（微秒级），但静态功耗降低有限；深度sleep（如power gating）切断计算单元的电源域，静态功耗几乎降为零，但需要保存和恢复上下文，唤醒延迟可达毫秒级。任务调度器需要根据推理任务的到达间隔和延迟要求，动态选择合适的sleep深度。

总功耗 = 静态功耗 + 动态功耗
        = I_leak × V + C_eff × V² × f

其中：
  I_leak = 漏电流（与温度、制程相关）
  C_eff  = 有效开关电容（与活跃逻辑门数相关）
  V      = 工作电压
  f      = 时钟频率

2.4 案例拆解：智能摄像头的人形检测功耗优化

以一个典型的智能家居摄像头场景为例，该设备搭载四核Cortex-A55 CPU（最高1.8GHz）、Mali-G52 GPU和自研NPU（2 TOPS INT8算力）。设备需要持续分析视频流，检测画面中是否出现人形，并在检测到人形时触发告警和录像。初始实现中，系统每200ms从摄像头传感器获取一帧图像，送入NPU执行人形检测模型（MobileNet-SSD，INT8量化，推理延迟约30ms），检测结果由CPU处理。

初始功耗测量：在连续运行状态下，整机功耗为1.8W，其中NPU功耗0.6W，CPU功耗0.4W，传感器和ISP（图像信号处理器）功耗0.5W，其他外设和损耗0.3W。用户要求待机功耗降至0.5W以下，以延长电池供电时间。

分析过程：通过功耗剖析工具（如高通Snapdragon Profiler）发现，NPU在每帧推理完成后仍保持active状态约150ms，等待下一帧到来；CPU在轮询等待NPU中断时也处于active状态。这意味着在200ms的周期内，NPU实际工作30ms，空闲170ms；CPU实际工作10ms，空闲190ms。空闲期间，NPU和CPU的静态功耗分别为0.15W和0.1W，占据了总功耗的相当比例。

优化措施：

1. NPU sleep调度：在NPU完成推理并输出结果后，立即通过寄存器配置进入retention sleep模式（保留权重缓存，关闭计算阵列电源），功耗从0.6W降至0.05W。唤醒延迟约80μs，远小于200ms的帧间隔。
2. CPU低功耗等待：CPU在提交推理任务后，执行WFI指令进入浅度sleep，不再轮询NPU状态，改为等待NPU中断唤醒。CPU功耗从0.4W降至0.08W。
3. ISP帧率调整：将传感器帧率从5fps降至2fps（人形检测不需要高帧率），ISP功耗从0.5W降至0.2W。

优化后结果：整机功耗降至0.83W，其中NPU平均功耗0.08W（30ms工作×0.6W + 170ms sleep×0.05W），CPU平均功耗0.1W，ISP功耗0.2W，其他0.45W（传感器和固定损耗）。进一步将帧率降至1fps后，整机功耗可降至0.6W左右。代价是检测延迟从200ms增加到500ms，但对于人形检测场景，这一延迟仍在可接受范围内。

复盘经验：该案例揭示了端侧推理功耗优化的核心原则——让计算单元在空闲时尽可能深地sleep，而不是保持active等待。同时，任务调度器需要精确计算"工作功耗×工作时间 + sleep功耗×空闲时间"的总能量消耗，以确定最优的sleep深度和唤醒时机。值得注意的是，如果帧间隔缩短至50ms以下，频繁的sleep/唤醒切换带来的能量开销可能超过保持active的静态功耗，此时应选择浅度sleep或直接保持active。

2.5 功耗-性能-延迟三角权衡与调度启示

端侧推理系统的设计始终围绕功耗、性能和延迟三个维度展开。性能（吞吐量）决定了单位时间内能处理多少推理任务，延迟决定了单个任务的响应速度，功耗则决定了设备的续航和散热。三者的关系并非线性：提升性能通常需要提高电压和频率，导致功耗超线性增长；降低延迟需要更快的唤醒路径和更高的优先级，可能牺牲其他任务的执行效率。

对于任务调度器而言，理解硬件平台的功耗特性是设计调度策略的基础。调度器需要维护每个计算单元的功耗状态机（active、idle、sleep、deep sleep），并根据任务队列的实时状态决定何时切换状态。例如，当推理任务队列为空时，调度器应预测下一个任务的到达时间——如果预测间隔大于唤醒延迟加上sleep功耗的平衡点，则进入深度sleep；否则保持浅度sleep或idle。这种预测性调度需要结合历史任务到达模式和应用层语义（如传感器采样周期、用户交互频率）进行综合判断。

此外，异构计算单元的协同调度也直接影响功耗。一个典型的优化策略是"功耗感知的任务分配"：将延迟敏感的小模型部署在NPU上，利用其低功耗特性；将复杂但非实时的任务放在GPU上，利用其高吞吐能力；CPU则负责控制流和轻量级任务。调度器还需要考虑计算单元之间的数据依赖——如果NPU的输出需要CPU立即处理，那么CPU不能过早进入深度sleep，否则会形成"功耗节省了，但延迟超标"的尴尬局面。