为什么需要外部RAM：模型规模、内存瓶颈、量化与算子临时内存需求，以及外部RAM的扩展优势

TFLite Micro 的典型运行环境是 MCU（微控制器），其内部 SRAM 通常只有几十 KB 到几百 KB。当我们试图在这样受限的资源上部署稍具规模的神经网络模型时，很快会遇到一个硬性天花板：内存不够。理解为什么需要外部 RAM，不能只停留在“模型太大”的直觉层面，而要从模型存储、运行时内存占用、算子执行临时缓冲以及量化策略四个维度深入拆解。只有真正理解了内存瓶颈的构成，才能在设计阶段做出正确的架构决策——是选择 PSRAM 还是 SDRAM，以及如何控制随之而来的风险。

4.1 模型规模与内存消耗的量化关系

一个神经网络模型在 MCU 上的内存占用主要由三部分构成：权重存储、激活值（中间特征图）和算子临时缓冲。权重存储相对直观——假设一个 MobileNetV1 模型有 420 万个参数，以 float32 存储需要约 16.8MB，这已经远超绝大多数 MCU 的内部 Flash 容量。即使转换为 int8 量化，也需要约 4.2MB。而激活值的内存占用则与输入分辨率和网络深度直接相关，例如一个 224×224×3 的输入，经过第一层卷积后可能产生 112×112×32 的特征图，仅这一层就需要 112×112×32×4 = 1.6MB（float32）或 0.4MB（int8）。

更关键的是，TFLite Micro 使用 Tensor Arena 机制来管理运行时内存。Arena 是一块预先分配的连续内存区域，所有中间张量、算子临时缓冲都在其中分配。Arena 的大小取决于模型结构和算子实现，通常为权重大小的 1.5 到 3 倍。以一个 300KB 的 int8 量化模型为例，其 Arena 可能需要 600KB 到 900KB，这已经超过了多数 MCU 的内部 SRAM 容量。

4.2 量化策略对内存需求的双刃剑效应

量化是降低内存需求最直接的手段。将 float32 权重转换为 int8 可以将存储减少 75%，同时推理速度提升 2-4 倍。但量化并非没有代价：量化感知训练（QAT）和后训练量化（PTQ）都会引入额外的内存开销。在推理阶段，虽然权重和激活值都以 int8 存储，但部分算子（如某些归一化层、残差连接）在计算过程中需要临时转换为 float32 进行中间计算，这会产生额外的临时内存峰值。

此外，量化模型的缩放因子（scale）和零点（zero point）需要额外的查找表存储。对于每个张量，需要 2 个 float32 值（scale 和 zero point），当模型有数百个中间张量时，这部分开销也不可忽视。更隐蔽的是，某些硬件加速器（如 ARM CMSIS-NN）要求权重按特定格式排列（如 NHWC 或 HWC），这可能导致内存对齐填充，进一步增加实际占用。

选择量化策略时，不能只看权重压缩效果，还要评估算子临时内存的变化。例如，一个 3×3 卷积在 int8 下使用 im2col 需要 9×输出通道×输入块大小的临时缓冲，如果输出通道为 256，输入块为 8×8，则临时缓冲为 9×256×64 = 147KB，这已经接近小型 MCU 的全部 SRAM。

4.3 算子临时内存需求：隐藏的内存杀手

算子临时内存是 TFLite Micro 中最容易被低估的部分。以卷积为例，TFLite Micro 的参考实现使用 im2col 将输入展开为矩阵，以便进行矩阵乘法。im2col 的临时缓冲大小计算公式为：输出通道数 × 卷积核大小 × 输入块元素数。对于深度可分离卷积，虽然计算量减少，但临时缓冲依然存在。全连接层则需要将整个输入展平为一维向量，如果输入是 32×32×64 的特征图，展平后为 65536 个元素，int8 下需要 64KB 临时缓冲。

更复杂的是，某些算子链（如 Conv + BatchNorm + ReLU）在 TFLite Micro 中可能被融合为一个算子，这减少了中间张量的存储。但融合并非总是可行，例如当 BatchNorm 的缩放因子在推理时无法静态折叠时，就需要额外的临时张量。此外，自定义算子的临时内存完全由开发者控制，如果实现不当，很容易造成内存溢出。

4.4 外部 RAM 的扩展优势与选型考量

当内部 SRAM 无法满足需求时，外部 RAM 成为必然选择。目前主流方案是 PSRAM（Pseudo SRAM）和 SDRAM（Synchronous DRAM）。PSRAM 的接口与 SRAM 兼容，无需刷新，延迟较低（约 70-100ns），适合对延迟敏感的应用；SDRAM 容量更大、成本更低，但需要周期性刷新，且接口时序复杂，延迟较高（约 100-150ns）。

在 TFLite Micro 中，外部 RAM 的使用方式有两种：完全映射和部分映射。完全映射将 Tensor Arena 整体放在外部 RAM，实现简单但推理速度受外部总线带宽限制；部分映射则将频繁访问的算子临时缓冲放在内部 SRAM，将权重和低频访问的激活值放在外部 RAM，这需要修改 TFLite Micro 的内存分配器，实现复杂度较高但性能更优。

4.5 案例拆解：从 512KB 内部 SRAM 到 8MB PSRAM 的迁移实战

某智能家居项目需要在 STM32H743（内部 SRAM 512KB，主频 480MHz）上部署一个关键词唤醒模型。初始模型为 float32 的 DS-CNN，权重 1.2MB，激活值峰值 380KB，Arena 总需求约 2.1MB，远超内部 SRAM。

第一步：量化优化。将模型转换为 int8（PTQ），权重降至 300KB，激活峰值降至 95KB，Arena 总需求约 650KB。此时仍超出内部 SRAM 的 512KB，但差距缩小。

第二步：算子优化。检查 Arena 分配，发现第一层卷积的 im2col 缓冲占用了 180KB。通过将卷积核从 3×3 改为 1×3 + 3×1 的分解卷积，im2col 缓冲降至 60KB，Arena 总需求降至 480KB，勉强可以放入内部 SRAM。

第三步：性能评估。实测推理时间为 85ms，但内存余量仅剩 32KB，系统运行不稳定，偶尔出现内存溢出。决定引入外部 PSRAM（8MB，通过 FMC 接口连接）。

第四步：混合映射。将 Tensor Arena 的 480KB 拆分为两部分：权重和低频激活值（约 350KB）放入 PSRAM，算子临时缓冲（约 130KB）保留在内部 SRAM。修改 TFLite Micro 的 MicroAllocator，实现双区域分配。

结果对比：迁移后推理时间从 85ms 降至 62ms（PSRAM 带宽足够），内存余量提升至 200KB，系统稳定性显著改善。代价是 PCB 面积增加约 30mm²，BOM 成本增加约 0.8 美元。

复盘经验：外部 RAM 不是简单的“加一块内存”，而是需要重新审视内存分配策略。混合映射方案虽然实现复杂，但性能收益明显。如果项目预算允许，建议在硬件设计阶段就预留 PSRAM 接口，避免后期迁移的硬件改动。

4.6 常见误区与总结复盘

• 误区一：认为量化后模型一定可以放入内部 SRAM。实际上，量化只减少权重存储，算子临时内存可能不减反增（如 int8 反量化操作）。
• 误区二：盲目选择 SDRAM 追求大容量。SDRAM 的刷新机制和时序复杂度会显著增加调试难度，且延迟较高，对实时性要求高的推理任务不利。
• 误区三：忽略内存对齐。TFLite Micro 要求张量按 16 字节对齐，外部 RAM 的起始地址和分配粒度也需要对齐，否则会导致性能下降或硬件异常。
• 误区四：将整个 Arena 放在外部 RAM 后不做性能测试。外部总线带宽可能成为瓶颈，尤其是当多个 DMA 外设同时访问时。