课程导入：TinyML低功耗视觉的定义、应用场景及学习路径

TinyML（微型机器学习）是机器学习与嵌入式物联网的交叉领域，其核心目标是在毫瓦级甚至微瓦级功耗预算下，让端侧设备直接运行机器学习推理。当这一技术应用于视觉任务时，便形成了“TinyML低功耗视觉”——它并非简单地把神经网络压缩后塞进单片机，而是围绕能量约束重新设计整个感知链路：从图像采集策略、预处理流水线、模型架构到推理调度，每一个环节都必须为“每焦耳能量完成多少次有效推理”这一指标服务。与云端视觉不同，TinyML视觉设备通常由电池或能量采集供电，没有散热风扇，也没有大容量内存，却需要在野外、家庭或工业现场持续工作数月甚至数年。

上图展示了TinyML低功耗视觉系统的完整链路。感知层负责图像采集，处理层运行轻量化神经网络，通信层按需上报结果，电源层则为整个系统提供能量保障。值得注意的是，电源层并非简单的电池供电，它包含了电源管理IC、低功耗模式切换和能量采集接口，是整个系统能否实现“月级续航”的关键。在后续章节中，我们将逐一深入这些模块，但首先需要建立对整体架构和设计约束的清晰认知。

1.1 TinyML低功耗视觉的核心定义与边界

TinyML低功耗视觉并非一个模糊的概念，它有明确的量化边界。从系统角度看，它要求整个视觉处理链路（包括传感器、处理器、通信模块）的峰值功耗不超过100mW，平均功耗控制在10mW以下。从硬件角度看，它通常运行在Cortex-M系列MCU或同等算力的RISC-V处理器上，内存占用不超过1MB，Flash存储不超过4MB。从软件角度看，它运行经过量化（通常为INT8）和剪枝的轻量级神经网络模型，推理延迟在100ms至2秒之间（视任务复杂度而定）。

与通用嵌入式视觉相比，TinyML低功耗视觉有几个显著差异：

• 采集策略不同：通用视觉通常以30fps连续采集，而TinyML视觉采用“事件驱动”采集，只有在检测到运动、声音或定时触发时才唤醒摄像头。
• 分辨率受限：通用视觉常用1080p甚至4K分辨率，TinyML视觉则普遍使用QVGA（320×240）或更低分辨率，因为高分辨率图像会带来巨大的内存和计算开销。
• 模型轻量化程度不同：通用视觉模型动辄数十MB参数，TinyML模型通常被压缩到100KB以内，甚至只有几十KB。
• 功耗管理深度不同：通用嵌入式设备可能只关注运行功耗，TinyML设备则必须精细管理每个外设的睡眠/唤醒状态，甚至利用RTC定时唤醒和事件唤醒的混合策略。

1.2 典型应用场景与需求分析

TinyML低功耗视觉的应用场景广泛，但并非所有视觉任务都适合。适合的场景通常具备以下特征：任务相对简单（如分类、检测）、事件稀疏（大部分时间无目标出现）、对延迟要求不苛刻（秒级可接受）、部署环境供电困难。以下是三个最具代表性的应用场景：

应用场景	核心任务	典型硬件	功耗预算	关键挑战
智能门铃	人形检测、面部模糊识别	Cortex-M4 + QVGA摄像头	平均5mW，峰值80mW	误报抑制、夜间低光性能
野生动物监测	动物检测与分类	Cortex-M7 + 红外触发摄像头	平均1mW（待机），峰值120mW	极端温度、超长待机、图像质量
工业巡检	设备状态指示灯识别、仪表读数	RISC-V + 全局快门摄像头	平均10mW，峰值150mW	光照变化、遮挡、实时性要求

以野生动物监测为例，传统方案使用红外触发相机，每次触发拍摄一张高分辨率照片并存储到SD卡，功耗虽低但无法进行智能筛选，导致大量空拍（如风吹草动触发）。引入TinyML后，设备可以在MCU上运行一个轻量级动物检测模型，只有当模型确认画面中存在动物时才存储或传输图片，从而将有效数据率提升5-10倍，同时减少无线传输的功耗开销。

在工业巡检场景中，TinyML视觉设备被安装在设备旁，持续监测指示灯状态或仪表读数。由于工业环境通常有稳定电源，功耗约束相对宽松，但实时性和可靠性要求更高。此时，模型需要针对特定设备进行微调，并采用冗余推理策略（如连续3帧确认）来避免误判。

1.3 课程学习路径与知识体系

本课程共30章，按照“基础-方法-实践-优化”的逻辑组织，学员需要按照顺序学习，因为后续章节会依赖前面章节的知识。以下是课程的知识体系结构：

1. 基础篇（第1-5章）：TinyML视觉概述、嵌入式系统基础、图像传感器选型、低功耗硬件设计、开发环境搭建。
2. 模型篇（第6-12章）：轻量级网络架构（MobileNet、EfficientNet-Lite）、模型剪枝与量化、知识蒸馏、神经架构搜索。
3. 系统篇（第13-20章）：间歇计算、事件驱动采集、内存优化、推理引擎部署（TFLite Micro、CMSIS-NN）、多任务调度。
4. 应用篇（第21-26章）：智能门铃实战、野生动物监测系统、工业仪表识别、低光增强、异常检测。
5. 优化篇（第27-30章）：功耗分析与调优、模型更新策略（OTA）、多设备协同、综合项目实战。

本课程特别强调“间歇拍照”这一核心策略。所谓间歇拍照，是指设备并非连续采集图像，而是根据预设策略（定时、事件触发、随机采样）在特定时刻拍摄单帧或短序列图像。这一策略可以大幅降低平均功耗，但也带来了新的挑战：如何选择最佳拍摄时机？如何从稀疏帧中提取有效信息？如何处理运动模糊和光照突变？这些问题将在第13-15章中详细展开。

1.4 常见误区与设计思维转变

初学者在接触TinyML低功耗视觉时，常常会陷入几个思维误区。这些误区如果不及时纠正，会导致后续设计走弯路。

误区一：认为模型越小越好。模型大小与功耗并非线性关系。一个过小的模型可能需要更复杂的预处理或后处理来弥补精度损失，反而增加整体功耗。正确的做法是以端到端功耗为优化目标，而不是单纯追求模型参数量最小。

误区二：忽视图像采集的功耗。许多初学者只关注MCU推理的功耗，却忽略了图像传感器在采集和传输图像时的功耗。实际上，一个QVGA摄像头的功耗（约20-50mW）往往比MCU推理功耗（约10-30mW）更高。因此，减少拍照次数比优化模型更有效。

误区三：把所有任务都放在端侧。虽然TinyML强调端侧推理，但并非所有处理都必须在端侧完成。例如，可以将“是否有人”的粗判断放在端侧，而将“是谁”的精细识别放在云端。这种端云协同策略可以兼顾功耗和精度。

误区四：忽略待机功耗。对于事件驱动的应用，设备大部分时间处于待机状态。如果待机功耗是1mW，一年待机消耗约8.76Wh；如果待机功耗优化到10μW，一年仅消耗0.0876Wh。因此，待机功耗的优化往往比运行功耗的优化更具价值。