4. 硬件平台与约束
TinyML视觉系统的延迟并非单纯由算法决定，而是由采集、预处理、推理、后处理四个阶段在特定硬件平台上的物理执行时间共同构成。理解硬件平台的能力边界与瓶颈所在，是进行延迟优化的前提。本章将拆解MCU、边缘AI芯片、摄像头接口与内存带宽这四类核心硬件约束，分析它们如何影响端到端延迟，并给出可操作的选型与调优方法。
上图展示了TinyML视觉系统中硬件链路的基本数据流。摄像头接口负责将感光阵列的模拟信号转换为数字像素流；内存带宽决定了像素数据在采集、预处理与推理之间的搬运效率；MCU或边缘AI芯片则执行实际的预处理与推理计算。三个模块之间存在明确的瓶颈传递关系——任何一个环节的物理上限都会成为整个链路延迟的短板。
4.1 核心原理：硬件约束如何转化为延迟
延迟的物理本质是“数据产生速率”与“数据处理速率”之间的失配。在TinyML视觉系统中，这种失配体现在三个层面：
- 采集层失配：摄像头传感器以固定帧率输出像素，例如OV2640在UXGA（1600×1200）下最高15fps，每像素时钟（PCLK）为24MHz。若MCU无法及时通过DMA将像素搬入内存，则会产生丢帧或覆盖。
- 搬运层失配：即使MCU主频足够高，若内存带宽不足，DMA传输与CPU取指/数据访问争抢总线，会导致有效带宽远低于理论峰值。例如STM32H7的AXI SRAM理论带宽约400MB/s，但实际可用带宽通常只有60%-70%。
- 计算层失配：MCU的MAC（乘累加）吞吐量决定了卷积运算的理论下限。以STM32F4（168MHz，无FPU）为例，单次MAC约需4个周期，则每秒可执行42M MAC；而一个MobileNetV1深度可分离卷积层在224×224输入下需要约300M MAC，仅推理就需要约7秒——这显然不可接受。
因此，延迟优化的核心思路是：识别当前链路中最接近物理极限的环节，优先优化该环节。例如，若摄像头PCLK为24MHz，则采集一帧VGA（640×480）图像的理论最短时间为640×480/24MHz ≈ 12.8ms，这已经是无法突破的物理下限。
4.2 判断方法：量化各环节的延迟预算
在实际项目中，我们需要通过测量与计算来建立延迟预算表。以下是标准操作流程：
- 测量采集延迟：使用逻辑分析仪或示波器抓取摄像头VSYNC（帧同步）信号，记录两帧之间的间隔。该间隔即为采集一帧的物理时间。
- 测量DMA传输时间：在代码中置GPIO引脚，在DMA传输完成中断中翻转该引脚，用示波器测量高电平持续时间。
- 测量预处理耗时：在预处理函数前后分别读取DWT->CYCCNT（Cortex-M内核周期计数器），计算周期差并除以主频。
- 测量推理耗时：同样使用周期计数器，或使用芯片厂商提供的性能分析工具（如STM32CubeMonitor）。
- 建立预算表：将各阶段时间相加，与目标帧间隔（如33ms对应30fps）对比，找出超预算的环节。
| 阶段 | 测量方法 | 典型值（STM32F4 + OV2640） | 优化手段 |
|---|---|---|---|
| 采集（VGA） | VSYNC间隔 | 20ms（50fps模式） | 降低分辨率、裁剪ROI |
| DMA传输 | GPIO翻转 | 3.2ms（640×480×2B） | 增大突发长度、使用双缓冲 |
| 预处理（缩放+灰度） | DWT周期计数 | 8.5ms | 查表法、SIMD优化 |
| 推理（8bit量化） | 周期计数 | 45ms（不可接受） | 更换NPU芯片、模型剪枝 |
上表显示，在MCU平台上推理耗时往往占据主导。此时，硬件选型的方向应从“优化MCU代码”转向“引入专用AI加速器”。
4.3 案例拆解：从MCU到边缘AI芯片的延迟优化实战
背景与约束：某工业视觉检测项目需要在传送带上识别产品缺陷，要求检测节拍为30fps（每帧33ms），检测内容包括划痕与污渍。初始方案采用STM32F746（Cortex-M7，216MHz）+ OV5640摄像头（500万像素，输出VGA），使用TensorFlow Lite Micro运行MobileNetV1（输入96×96，8bit量化）。
初始现象：实测端到端延迟为78ms，远超标。分解如下：采集15ms（VGA@30fps）、DMA传输4ms、预处理（裁剪+缩放+灰度）12ms、推理47ms。推理成为最大瓶颈。
分析判断：STM32F746的MAC吞吐量约为108M MAC/s（216MHz×0.5），而MobileNetV1在96×96输入下需要约57M MAC，理论推理时间应为57/108≈528ms——但实际47ms说明TFLite Micro利用了CMSIS-NN的SIMD优化，将效率提升至约1.2G MAC/s。即便如此，47ms仍无法满足33ms的帧间隔。
操作步骤：
- 将模型替换为更轻量的MobileNetV2（alpha=0.35），MAC降至约21M，推理时间降至18ms。
- 将输入分辨率从96×96降至64×64，MAC进一步降至9.3M，推理时间降至8ms。
- 优化预处理：使用查表法替代浮点缩放计算，预处理从12ms降至5ms。
- 启用DMA双缓冲，将采集与推理流水线化，隐藏DMA传输时间。
结果对比：优化后端到端延迟为15ms（采集15ms与推理8ms重叠，实际取最大值），满足30fps要求。但代价是模型精度从92%降至87%，需通过增加训练数据增强来补偿。
风险与复盘：该方案已接近MCU平台的计算极限。若后续需提升精度至95%以上，必须更换为带NPU的边缘AI芯片（如STM32N6或K210）。复盘经验：在MCU上优化模型结构比优化代码更有效；同时，流水线设计可以将采集与推理并行，但需注意内存冲突。
4.4 常见误区与总结复盘
误区1：只关注CPU主频而忽略内存带宽。例如，将MCU从168MHz升级到480MHz，但若SRAM仍为32bit总线且无缓存，则DMA与CPU争抢总线会导致实际加速比远低于主频提升比例。
误区2：盲目使用高分辨率摄像头。在TinyML场景中，VGA（640×480）通常已足够，更高的分辨率只会增加采集与传输延迟，而不会提升检测精度——因为模型输入通常被缩放到64×64或96×96。
误区3：忽略摄像头接口的时序约束。MIPI-CSI接口虽然带宽更高，但在低端MCU上往往需要额外的协议处理开销；DVP接口虽然简单，但PCLK频率受限于GPIO翻转速度。
经验总结：硬件选型应遵循“先算后选”原则。首先根据模型MAC与目标帧率计算所需MAC吞吐量，再反推所需的主频或NPU算力；其次评估内存带宽是否满足DMA与CPU并发访问；最后确认摄像头接口与MCU的DMA控制器兼容性。