4、推理运行时内存布局：模型权重、激活、中间张量、临时buffer的分配与释放

MCU端侧推理引擎的运行时内存管理，是决定系统稳定性与推理性能的核心环节。与服务器端动辄数GB的显存不同，MCU的RAM通常以KB或少量MB计量，且Flash与RAM分离。在如此严苛的资源约束下，推理引擎必须精确规划每一字节：模型权重放在哪里、激活值如何复用、中间张量何时分配、临时buffer如何避免碎片化。本章将深入剖析推理运行时内存布局的完整生命周期，从静态规划到动态分配，从内存池设计到碎片治理，帮助你在资源受限的MCU上构建高效、可预测的推理运行时。

4.1 内存布局的核心原理：三类存储区的职责划分

MCU推理运行时的内存布局，本质上是对三类数据生命周期的管理：模型权重（生命周期与模型一致）、激活与中间张量（生命周期与单次推理一致）、临时buffer（生命周期与单个算子执行一致）。这三类数据对存储介质的要求截然不同：权重通常存放在Flash中（或启动时拷贝到RAM以提升访问速度），激活值必须位于RAM，而临时buffer则要求极快的分配与释放速度。

在典型的MCU推理引擎中，内存布局遵循"静态优先、动态补充"的原则。静态区在编译期就完全确定，包括权重张量的地址、形状、量化参数等元数据；动态区则通过内存池管理，在推理开始时一次性分配最大所需内存，推理过程中不再调用系统malloc/free。这种设计避免了运行时堆碎片化，也保证了推理延迟的可预测性。

这里的关键设计决策是：权重是否从Flash拷贝到RAM。对于Cortex-M系列MCU，Flash访问通常需要等待状态，而RAM访问为单周期。如果推理性能是首要目标，且RAM容量允许（例如权重200KB，RAM有512KB），则应在初始化时将权重整体拷贝到RAM；如果RAM紧张，则保留在Flash中，通过缓存行优化访问。实际工程中，更常见的做法是混合策略：将高频访问的权重（如第一层卷积）放入RAM，低频访问的权重留在Flash。

4.2 判断方法与操作流程：如何规划内存布局

规划MCU推理内存布局，需要遵循一套系统化的流程。首先进行静态分析，遍历计算图，确定每个张量的形状、数据类型、生命周期（从哪个算子产生，到哪个算子不再使用）。然后进行liveness分析，构建张量的活跃区间，识别哪些张量可以共享同一块内存。最后进行内存池设计，将不重叠的张量分配到同一地址。

具体操作流程如下：

1. 构建计算图拓扑序：将模型转换为有向无环图（DAG），确定算子执行顺序。
2. 标注张量生命周期：对每个张量，记录其"出生点"（产生它的算子）和"死亡点"（最后一个使用它的算子）。
3. 计算活跃张量集合：在拓扑序的每个步骤，统计当前活跃的张量集合及其总大小。
4. 确定峰值内存：找到活跃张量总大小的最大值，这就是理论最小内存需求。
5. 设计内存池：将活跃区间不重叠的张量分配到同一块内存，使用贪心算法或图着色算法。
6. 添加对齐与填充：根据MCU架构要求（如ARM Cortex-M通常要求4字节对齐，DMA要求32字节对齐），调整各张量的起始地址。
7. 生成内存映射表：输出每个张量的最终地址偏移量，供推理引擎运行时使用。

在实际工程中，我们通常使用arena分配器（区域分配器）来实现上述设计。arena是一块预分配的大内存，推理引擎在初始化时将其划分为多个子区域，每个子区域对应一类张量。推理过程中，arena分配器只进行指针偏移计算，不涉及系统调用，分配/释放操作的时间复杂度为O(1)。

// Arena分配器核心结构示例
typedef struct {
    uint8_t *base_addr;      // 内存池基地址
    size_t total_size;       // 内存池总大小
    size_t offset;           // 当前分配偏移
    size_t peak_used;        // 峰值使用量（用于统计）
} arena_t;

void* arena_alloc(arena_t *arena, size_t size, size_t align) {
    // 对齐到指定边界
    size_t aligned_offset = (arena->offset + align - 1) & ~(align - 1);
    if (aligned_offset + size > arena->total_size) {
        return NULL;  // 内存不足
    }
    void *ptr = arena->base_addr + aligned_offset;
    arena->offset = aligned_offset + size;
    if (arena->offset > arena->peak_used) {
        arena->peak_used = arena->offset;
    }
    return ptr;
}

void arena_reset(arena_t *arena) {
    arena->offset = 0;  // 重置分配位置，实现"释放所有"
}

4.3 案例拆解：MobileNetV1在Cortex-M7上的内存布局优化

我们以一个实际的嵌入式视觉项目为例：在STM32H743（Cortex-M7, 512KB RAM, 2MB Flash）上部署MobileNetV1（输入224×224×3，宽度乘数0.25）。初始朴素实现的内存占用如下：

• 模型权重（INT8量化）：约1.2MB → 超出Flash可用空间，需要压缩或部分加载
• 激活张量（FP32）：峰值约8.4MB → 远超RAM容量
• 临时buffer：卷积im2col需要约1.5MB → 不可接受

优化过程分三步进行：

第一步：量化与权重压缩。将权重从FP32转为INT8（4倍压缩），并应用权重聚类（weight clustering）将1.2MB压缩至280KB。同时，将权重按层分组，高频访问的前5层（约占权重40%）拷贝到RAM（112KB），其余留在Flash。

第二步：激活张量复用。分析MobileNetV1的计算图，发现其结构为链式（无分支），因此激活张量可以两两复用。具体做法是：只分配两块内存，一块用于"当前层输出"，一块用于"下一层输出"，交替使用。这样激活内存从8.4MB降至最大单层激活大小：约420KB（INT8量化后）。

第三步：临时buffer优化。将im2col操作改为隐式im2col（在卷积计算时直接索引），避免显式展开。临时buffer从1.5MB降至64KB，用于DMA传输对齐和微内核工作区。

最终，通过内存布局优化，总RAM占用从9.9MB降至484KB，成功在512KB RAM的MCU上运行。推理速度从无法运行变为每帧约850ms（在400MHz主频下）。这个案例说明，内存布局优化不是简单的"省内存"，而是通过生命周期分析实现内存的时空复用。

4.4 常见误区与总结复盘

在MCU推理内存管理实践中，开发者常陷入以下误区：

误区一：过度依赖动态分配。有些开发者习惯在PC上使用malloc/free，在MCU上也照搬。这会导致堆碎片化，推理多次后内存不足。正确做法是使用内存池或arena分配器，在初始化时一次性分配。

误区二：忽略对齐要求。ARM Cortex-M处理器对未对齐访问会触发HardFault异常。如果张量地址未按4字节对齐，轻则性能下降，重则系统崩溃。DMA操作通常要求32字节对齐。内存布局时必须显式处理对齐。

误区三：权重全部放Flash，不考虑访问性能。虽然Flash容量大，但随机访问速度慢（需要等待状态）。如果卷积核频繁从Flash读取，推理性能会严重下降。应根据访问频率决定权重存放位置。

误区四：激活复用只考虑相邻层。在更复杂的网络（如ResNet的残差连接）中，激活张量可能跨越多个层存活。简单的"两两复用"策略可能失效，需要完整的liveness分析。

误区五：忽略栈空间限制。MCU的栈通常只有几KB到几十KB。如果临时buffer在栈上分配过大，会导致栈溢出。对于大块临时内存，应使用内存池而非栈。

总结复盘：推理运行时内存布局的核心方法论可以概括为"三区分离、生命周期驱动、池化分配"。三区分离是指权重区、激活区、临时区各自独立管理；生命周期驱动是指通过张量活跃区间分析实现内存复用；池化分配是指用预分配的内存池替代动态分配。掌握这三条原则，你就能在任意MCU上设计出高效、可靠的内存布局方案。在实际项目中，建议先用脚本（如Python）离线分析模型，生成内存映射表，再在C代码中实现对应的arena分配逻辑，这样可以大幅减少调试时间。