课程导入：TinyML视觉实时处理的挑战与目标，学习路径与课程结构概览
TinyML视觉实时处理，是将深度学习模型部署在微控制器（MCU）级别的硬件上，对摄像头采集的图像流进行逐帧或关键帧的实时推理。与云端AI不同，TinyML视觉系统面临的是毫瓦级功耗、数百KB内存、几十MHz主频的严苛约束。本章作为整个课程的开篇，旨在帮助学习者建立对TinyML视觉实时处理的全景认知：理解其核心挑战、明确技术目标、梳理学习路径，并掌握课程的整体结构。我们将从硬件资源约束、帧缓存机制、推理节拍控制三个维度切入，为后续章节的深入实践打下坚实基础。
核心原理：为什么TinyML视觉实时处理如此困难
TinyML视觉实时处理的本质，是在资源极度受限的嵌入式平台上，完成图像采集、预处理、推理、后处理的全链路流水线。其困难源于三个层面的矛盾：
- 数据带宽矛盾：以QVGA（320×240）分辨率、RGB565格式为例，单帧原始数据量为320×240×2 = 153,600字节。若以30fps采集，每秒数据量达4.6MB。而典型MCU的DMA带宽在几十MB/s级别，CPU直接搬运会占用大量计算周期。
- 存储容量矛盾：MCU的SRAM通常只有256KB~1MB，而单帧图像就占150KB以上。这意味着系统最多只能缓存2~3帧，任何缓冲策略失误都会导致帧丢失或内存溢出。
- 计算实时性矛盾：一个MobileNetV1模型（输入96×96）在Cortex-M7上运行一次推理约需200~500ms，而实时视觉要求每帧处理时间小于40ms（25fps）。这迫使开发者必须采用模型量化、剪枝、知识蒸馏等手段，同时优化推理调度。
理解这些矛盾是掌握本课程的前提。后续章节将逐一拆解这些问题的解决方案。
判断方法：如何评估一个TinyML视觉系统的实时性
在开始设计之前，我们需要一套可量化的评估指标来判断系统是否满足实时性要求。以下是三个核心维度的判断方法：
| 评估维度 | 关键指标 | 判断标准 | 测量工具 |
|---|---|---|---|
| 帧率（FPS） | 每秒处理的帧数 | ≥15 FPS为基本可用，≥30 FPS为流畅 | 计时器、帧计数器 |
| 端到端延迟 | 从图像曝光到输出结果的耗时 | ≤100ms，感知上无延迟 | GPIO翻转+逻辑分析仪 |
| 抖动（Jitter） | 帧间延迟的标准差 | ≤5ms，保证确定性 | RTOS tick记录 |
一个实用的评估流程是：先测量裸机推理时间，再叠加帧缓存开销，最后评估调度抖动。例如，若模型推理需要80ms，帧缓存拷贝需要20ms，则理论最大帧率为10fps，不满足实时性要求。此时需要优化模型或采用双缓冲重叠计算。
案例拆解：智能门锁的人脸检测系统设计
让我们通过一个实际案例来理解上述概念。某智能门锁产品需要实现本地人脸检测功能，硬件平台为Cortex-M7 @ 400MHz，SRAM 512KB，摄像头为OV2640（支持JPEG输出）。
初始目标与约束：
- 检测距离0.5~1.5米，人脸尺寸≥32×32像素
- 从按下门铃到给出检测结果的时间≤500ms
- 平均功耗≤150mW，电池供电
- SRAM占用≤300KB（需预留系统运行空间）
初始方案与问题：工程师最初采用JPEG模式采集（单帧约15KB），在CPU上解码为RGB后送入模型。实测发现：JPEG解码耗时120ms，模型推理（MobileNetV1 96×96量化版）耗时280ms，总耗时400ms，勉强达标。但存在两个隐患：
- JPEG解码占用CPU时间过长，导致系统无法响应其他外设中断
- 帧率仅2.5fps，用户移动时检测成功率低
优化过程：
第一步：切换为RGB565直出模式，取消JPEG解码。虽然单帧数据量增至150KB，但通过DMA直接搬运到SRAM，CPU仅需启动传输即可，耗时从120ms降至5ms。
第二步：采用双缓冲机制。DMA在搬运第N+1帧时，CPU同时推理第N帧，实现计算与传输重叠。实测帧率提升至8fps。
第三步：将模型输入从96×96降至64×64，推理时间从280ms降至150ms。虽然精度略有下降，但通过增加检测框数量补偿。
结果对比：
| 方案 | 端到端延迟 | 帧率 | SRAM占用 | 检测成功率 |
|---|---|---|---|---|
| 初始方案（JPEG） | 400ms | 2.5fps | 180KB | 62% |
| 优化方案（RGB+DMA+双缓冲） | 155ms | 8fps | 320KB | 85% |
复盘经验：本案例的核心教训是不要用CPU做数据搬运。DMA是TinyML视觉系统的生命线，所有图像传输都应交给DMA完成。同时，模型输入尺寸的调整对实时性影响巨大，64×64与96×96的推理时间差距可达2倍，但精度损失可通过算法补偿。
常见误区与总结复盘
在TinyML视觉实时处理的学习和实践中，初学者常陷入以下误区：
正确的学习路径应该是：先掌握硬件资源边界，再学习帧缓存与DMA技术，然后深入推理引擎优化，最后通过完整项目串联所有知识。本课程30章正是按照这一逻辑设计：第2~5章讲解硬件平台与摄像头接口；第6~12章深入帧缓存、DMA与图像预处理；第13~20章聚焦推理引擎、量化与节拍控制；第21~30章涵盖模型优化、多任务调度和实战项目。
总结本章，TinyML视觉实时处理的核心在于用工程手段解决资源矛盾。帧缓存是数据通路的基础，推理节拍是时间维度的调度艺术。只有将两者有机结合，才能在微控制器上实现流畅的视觉应用。接下来的章节，我们将从硬件平台选型开始，逐步构建完整的知识体系。