📚 课程目录第3章输入尺寸基础

3、输入尺寸基础：图像分辨率对模型大小、推理速度与内存占用的影响

在TinyML视觉任务中，输入图像的尺寸（分辨率）是决定整个系统资源消耗的“第一杠杆”。与云端AI不同，MCU级设备的内存通常以KB为单位，Flash以MB为单位，且没有独立显存。输入尺寸一旦确定，模型第一层卷积的参数量、中间特征图（Feature Map）的缓冲区大小、每次推理的乘加运算次数（MACs）都会随之呈平方级变化。本章将系统拆解输入分辨率如何影响模型大小、推理速度与内存占用，并给出在32x32、48x48、96x96等常见尺寸下的选型依据与工程控制方法。

上图展示了输入分辨率影响资源消耗的核心传导链路。下面从四个维度展开：核心原理、判断方法、案例拆解、常见误区。

3.1 核心原理：分辨率如何“放大”资源消耗

输入分辨率对资源的影响并非线性，而是呈现平方级放大效应。假设输入为单通道灰度图，尺寸为 W×H，第一层使用 3×3 卷积、输出通道数为 C_out，则：

首层权重参数 = 1 × C_out × 3 × 3 = 9×C_out，与分辨率无关（但后续层输入通道数会因分辨率变化而影响网络结构设计）。
首层计算量（MACs） = W × H × C_out × 3 × 3，与 W×H 成正比。分辨率从 32×32 提升到 96×96，计算量直接放大 9 倍。
首层输出特征图大小 = W × H × C_out，每个特征值若以 int8 存储占 1 字节，若以 float32 占 4 字节。这直接决定了推理过程中 Arena（共享内存缓冲区）的峰值需求。

更关键的是，分辨率不仅影响第一层。在典型的 CNN 中，后续池化层或步长卷积会逐步缩小特征图，但前几层的特征图尺寸仍然与输入分辨率成正比。例如一个 5 层 CNN，若输入 32×32，经过两次步长 2 的下采样后，第三层特征图为 8×8；若输入 96×96，第三层特征图则为 24×24，内存占用变为原来的 9 倍。因此，输入分辨率是决定 Arena 大小的首要因素。

  经验法则：在 TinyML 中，输入分辨率每降低一半（如从 96 降到 48），推理所需 RAM 通常可减少 60%~75%，推理速度提升 3~4 倍，而精度损失往往在 2%~5% 以内（取决于任务复杂度）。这是性价比最高的优化手段之一。

3.2 判断方法：如何为任务选择合适的分辨率

选择输入分辨率需要综合任务复杂度、硬件资源、精度要求三个维度。以下是系统化的判断流程：

明确任务最小可分辨特征：计算目标物体在图像中的最小像素尺寸。例如，检测 5cm 的螺丝钉，相机视野 50cm×50cm，图像分辨率 96×96 时，螺丝钉约占 10×10 像素，勉强可辨；若降到 32×32，仅占 3×3 像素，几乎无法识别。
评估硬件内存预算：查看 MCU 的 SRAM 总量。例如 STM32F446 有 128KB SRAM，但 TensorFlow Lite Micro 运行时本身需要约 10~20KB，留给 Arena 的通常只有 60~100KB。用公式估算：Arena需求 ≈ 最大特征图字节数 × 2 + 中间缓冲。
测量推理时间预算：若要求 30FPS，则单次推理需在 33ms 内完成。在 100MHz 的 Cortex-M4 上，一次 MAC 约需 2~4 个时钟周期，可估算最大允许的 MACs 数。
从大到小迭代测试：先以 96×96 训练一个模型，测量精度和资源；再降到 64×64、48×48、32×32，记录精度-资源曲线，找到“拐点”——即精度开始明显下降的分辨率，取该值或略高一档。

输入尺寸	典型应用场景	RAM占用（8bit特征图）	相对计算量	精度表现
32×32	极简分类（手势、数字）、传感器节点	~10-25KB	1×	简单任务可接受，复杂任务下降明显
48×48	简单物体识别（猫狗、缺陷分类）	~25-50KB	2.25×	平衡点，多数任务精度损失<5%
96×96	精细分类、人脸检测、OCR	~80-150KB	9×	精度较高，但需大内存MCU
224×224	云端迁移学习、高精度视觉	>500KB	49×	接近SOTA，但TinyML极少使用

3.3 案例拆解：从96×96降到48×48的实战优化

某工业视觉项目需要在 STM32F746（Cortex-M7, 216MHz, 320KB SRAM）上实现 PCB 焊点缺陷检测。初始方案采用 MobileNetV1 结构，输入 96×96 RGB 三通道图像，模型大小 480KB，Arena 需求 210KB，单次推理 180ms。实测发现：

Flash 占用 480KB，加上运行时库，已接近 1MB Flash 上限。
RAM 峰值 210KB，超过 320KB SRAM 的 65%，留给系统其他任务的空间不足。
推理速度 180ms，无法满足 10FPS 的产线节拍要求。

分析过程：检查模型各层内存分布，发现第一层卷积输出特征图为 48×48×32=73,728 字节（float32），占 Arena 的 35%。若将输入降为 48×48，第一层输出变为 24×24×32=18,432 字节，直接减少 55KB。同时，后续层特征图也等比缩小。计算量从 96×96 的 1.2G MACs 降至 0.3G MACs，理论提速 4 倍。

实际操作：

将输入从 96×96×3 改为 48×48×3，同时将第一层步长从 2 改为 1，保持感受野覆盖。
将模型量化从 float32 改为 int8，特征图内存再降 4 倍。
调整 Arena 配置：tensor_arena_size = 60 * 1024，并开启内存复用（arena 中张量生命周期不重叠的部分共享内存）。

结果对比：

指标	优化前 (96×96, float32)	优化后 (48×48, int8)	变化
模型大小	480KB	120KB	-75%
Arena 峰值	210KB	38KB	-82%
推理时间	180ms	42ms	-77%
缺陷检测准确率	98.2%	96.5%	-1.7%

风险与代价：精度下降 1.7% 在可接受范围内，但需注意小缺陷（如 2×2 像素的虚焊点）在 48×48 下可能仅占 1~2 像素，存在漏检风险。为此，在数据增强中加入了随机裁剪和缩放，模拟不同距离下的成像效果，最终将漏检率控制在 0.3% 以内。

复盘经验：分辨率降级不是简单的“缩小图片”，需要同步调整网络结构（如步长、池化层位置）和训练策略（数据增强、微调）。建议在项目初期就建立“分辨率-精度-资源”三维评估矩阵，避免后期返工。

3.4 常见误区与总结复盘

误区一：认为分辨率只影响计算量，不影响模型大小。实际上，虽然第一层权重与分辨率无关，但分辨率决定了后续全连接层的输入维度。例如，32×32 输入经过 3 次池化后得到 4×4 特征图，展平为 16×C；而 96×96 输入得到 12×12 特征图，展平为 144×C，全连接层权重直接放大 9 倍。若使用全局平均池化（GAP）可避免此问题，但很多传统 CNN 仍使用全连接层。

误区二：盲目追求高分辨率以提升精度。在 TinyML 场景中，高分辨率带来的精度收益往往被量化误差和过拟合抵消。实验表明，当模型容量不变时，从 48×48 提升到 96×96，精度提升通常不超过 3%，但内存和功耗却翻倍。更优的做法是保持 48×48，增加通道数或网络深度。

总结建议：对于大多数 TinyML 视觉任务，48×48 是“黄金起点”。它提供了足够的像素信息，同时将 Arena 控制在 50KB 以内，适配主流 MCU。若内存紧张，优先降至 32×32 并配合灰度化；若精度不足，先尝试增加通道数而非分辨率。始终使用 --arena_size 参数显式控制内存上限，并在开发板上实测峰值内存，而非仅依赖理论估算。