📚 课程目录第3章中间张量概念

中间张量概念：中间张量的定义、生命周期与内存分配方式

TFLite Micro 作为面向微控制器（MCU）的推理引擎，其内存管理策略与桌面端 TFLite 有本质差异。在桌面端，中间张量可以依赖操作系统动态分配堆内存，而在 MCU 上，内存资源通常以 KB 甚至数百字节计，且不允许运行时频繁 malloc/free。理解中间张量的定义、生命周期以及静态/动态/arena 三种内存分配方式，是进行峰值内存排查的前提。本章将系统拆解这三个核心概念，并给出工程实践中的判断方法与排查路径。

3.1 中间张量的定义与本质

在 TFLite Micro 的算子执行模型中，中间张量（Intermediate Tensor）是指那些不直接对应模型输入或输出，而是在算子计算过程中产生的临时数据载体。例如，一个卷积层输出的特征图、一个激活函数处理后的结果、或者两个分支相加前的中间结果，都属于中间张量。它们不参与模型的外部接口，但却是推理过程中数据流的核心载体。

从数据结构角度看，TFLite Micro 中的每个张量都由两部分组成：张量元数据（TfLiteTensor）和数据缓冲区（data.raw）。元数据包含维度（dims）、数据类型（type）、量化参数（params）、分配类型（allocation_type）等描述信息；数据缓冲区则存储实际的数值。中间张量的元数据在模型解析阶段从 flatbuffer 中读取，而数据缓冲区的指向则取决于内存分配方式——可能是 arena 中的某个偏移地址，也可能是动态分配的堆内存指针。

理解中间张量的关键，在于区分其逻辑角色与物理存储。逻辑上，每个中间张量都有独立的名称和语义；物理上，多个中间张量可能共享同一块内存区域（通过 arena 复用）。这种"逻辑独立、物理复用"的设计，正是 TFLite Micro 能在极小内存上运行的关键机制。

  核心要点：中间张量不是"额外"的内存开销，而是推理过程中数据流动的必经之路。排查峰值内存时，需要关注的是所有中间张量在物理内存上的最大重叠范围，而非单个张量的逻辑大小。

3.2 中间张量的生命周期

中间张量的生命周期跨越模型从加载到释放的整个过程，但不同阶段对内存的需求和管理方式截然不同。理解生命周期有助于定位内存峰值出现的阶段。

生命周期阶段	内存行为	峰值排查关注点
模型解析阶段	读取 flatbuffer，建立张量元数据表	元数据本身占用的 RAM（通常较小）
内存规划阶段	计算 arena 偏移，确定张量复用关系	规划算法是否产生过大 arena 总大小
模型初始化阶段	分配持久内存（权重、缓冲区），准备 scratch	持久内存与临时内存的边界划分
推理执行阶段	算子间传递数据，张量数据写入/读取	临时张量的峰值重叠（峰值内存核心）
模型释放阶段	统一回收 arena，释放动态内存	是否存在内存泄漏或重复释放

在实际工程中，推理执行阶段是峰值内存排查的重点。因为 arena 规划已经固定了最大占用，但动态分配的张量（如某些自定义算子产生的临时结果）可能在执行过程中额外申请内存，导致实际峰值超过规划值。此外，某些算子（如 LSTM、注意力机制）会在单个算子内部产生多个临时张量，这些张量的生命周期完全包含在算子执行期间，需要特别关注。

3.3 内存分配方式：静态、动态与 Arena

TFLite Micro 支持三种内存分配方式，每种方式在灵活性、安全性和性能上各有取舍。理解它们的差异是选择排查策略的基础。

3.3.1 静态分配

静态分配指张量的内存地址在编译期或模型初始化阶段就完全确定，运行期间不再改变。在 TFLite Micro 中，模型权重（权重张量）通常采用静态分配，它们被放置在只读内存区域（如 Flash 或内存映射的只读段）。静态分配的优点是零运行时开销、无碎片问题、访问速度快；缺点是灵活性差，无法应对输入尺寸变化或动态形状模型。

3.3.2 动态分配

动态分配指在推理过程中通过 malloc/free 或 TFLite Micro 的 AllocatePersistentBuffer 等接口申请内存。动态分配适合处理形状不确定的输入或自定义算子中的临时数据。然而，在 MCU 上动态分配存在显著风险：堆碎片化可能导致后续大块分配失败；分配失败时缺乏有效的错误恢复机制；且动态分配的内存地址不固定，难以进行静态分析。

// 动态分配示例（谨慎使用）
void* ptr = context->AllocatePersistentBuffer(context, size);
if (ptr == nullptr) {
  // 需要处理分配失败
  TF_LITE_KERNEL_LOG(context, "Allocation failed");
  return kTfLiteError;
}

3.3.3 Arena 分配

Arena 分配是 TFLite Micro 最核心的内存管理方式。其原理是：在模型初始化时，一次性从系统申请一块大的连续内存（称为 arena），然后通过内存规划算法将各个中间张量映射到 arena 内的不同偏移位置。多个生命周期不重叠的张量可以复用同一块区域，从而显著降低内存峰值。

Arena 分配的关键参数包括：arena_size（总大小）、tensor_offset（每个张量的起始偏移）、alignment（对齐要求，通常为 16 字节）。TFLite Micro 的规划器（MemoryPlanner）负责计算最优偏移，常见的规划器有 LinearMemoryPlanner 和 GreedyMemoryPlanner。前者按顺序分配，实现简单但可能浪费空间；后者尝试复用已释放的区域，内存利用率更高但计算复杂度略高。

经验提示：在排查峰值内存时，首先确认模型使用的是哪种规划器。GreedyMemoryPlanner 通常能减少 20%-40% 的 arena 大小，但若模型中有生命周期极长的张量（如贯穿整个推理的特征图），规划器的优化空间会受限。

3.4 案例拆解：一个典型 CNN 模型的中间张量峰值分析

假设我们有一个用于关键词识别的 CNN 模型，输入为 49×10 的 MFCC 特征，包含 2 个卷积层、2 个池化层和 1 个全连接层。模型在 STM32F746 上运行，RAM 总量为 320KB。初始实现时，arena 大小设置为 180KB，但实际运行中系统频繁崩溃，怀疑内存不足。

排查过程：

获取内存规划报告：在初始化时调用 tflite::MicroInterpreter::GetTensorDetails() 打印每个张量的偏移和大小。发现第一个卷积层的输出张量（维度 25×5×8，float32）占用了 40KB，第二个卷积层输出（12×2×16）占用了 12KB，全连接层前的展平张量占用了 8KB。
分析生命周期重叠：通过阅读算子注册顺序，发现第一个卷积层的输出在第二个卷积层计算完成后才不再使用，而第二个卷积层的输出在全连接层计算前一直存活。因此这两个张量无法复用同一块内存。
检查对齐与碎片：发现规划器为每个张量分配了 16 字节对齐，但某些小张量（如偏置向量）仅占 4 字节，导致对齐浪费。通过将小张量合并到连续区域，节省了约 3KB。
优化结果：将规划器从 LinearMemoryPlanner 切换为 GreedyMemoryPlanner，并手动调整了张量分配顺序（将生命周期短的张量放在前面），arena 大小从 180KB 降至 142KB，系统恢复正常运行。

优化项	优化前	优化后	节省内存
规划器类型	LinearMemoryPlanner	GreedyMemoryPlanner	约 25KB
对齐策略	所有张量 16 字节对齐	小张量 4 字节对齐	约 3KB
张量分配顺序	按算子顺序	按生命周期排序	约 10KB

复盘经验：中间张量的峰值并非单纯由模型大小决定，而是由"生命周期重叠的最大集合"决定。排查时应先获取规划报告，再分析张量间的依赖关系，最后针对性地调整规划策略。

3.5 常见误区与总结

风险警示：不要盲目使用动态分配来"解决"内存不足问题。在 MCU 上，动态分配可能导致堆碎片化，且 TFLite Micro 的某些算子（如卷积）在内部会使用固定大小的 scratch buffer，动态分配无法与之兼容。

以下是排查中间张量内存时的常见误区：

误区一：只关注单个张量的大小。实际上，多个小张量在生命周期重叠时，其总和可能超过单个大张量。应关注所有存活张量的总大小。
误区二：忽略对齐开销。在 ARM Cortex-M 系列上，未对齐访问可能导致硬件异常。规划器默认的对齐策略可能造成 10%-20% 的内存浪费。
误区三：认为 arena 大小等于峰值内存。arena 只是中间张量的存储区域，模型权重、输入输出缓冲区、算子 scratch buffer 等也会占用 RAM。峰值内存应统计所有内存区域的总和。
误区四：修改规划器后不验证正确性。GreedyMemoryPlanner 虽然节省空间，但若张量生命周期分析有误，可能导致数据覆盖。修改后必须进行完整的推理验证。