📚 课程目录第3章模型文件在MCU中的存储形式

3、模型文件在MCU中的存储形式：权重数据、常量表、算子元数据等如何映射到外部存储

在MCU上部署深度学习模型时，模型文件并非像在PC端那样直接由操作系统按页加载到内存，而是需要由开发者根据MCU的存储架构、总线位宽和启动流程，将模型文件中的各类数据段（权重数据、常量表、算子元数据、输入输出缓冲区描述等）进行显式地地址映射与搬运管理。本章将深入剖析模型文件在MCU内部存储空间中的逻辑分段方式，以及如何将这些段高效、安全地映射到外部SPI Flash、QSPI Flash或并行NOR Flash中，并兼顾读取速度、写入寿命和代码可维护性。

3.1 模型文件的数据段划分与存储属性

一个典型的MCU端深度学习模型文件（如TFLite Micro格式、ONNX转出的C数组或自定义二进制格式）在逻辑上可以划分为四个核心数据段。理解每个段的存储属性是设计外部存储映射方案的前提。

权重数据段（.wgt）：包含卷积核、全连接层矩阵、LSTM门控权重等。该段通常体积最大（占模型总量的80%~95%），且只读。在推理过程中，权重数据被反复读取，但从不修改。其数据类型可能是float32、float16或int8量化值。
常量表段（.const）：包括BatchNorm层的均值/方差/缩放因子、量化层的scale/zero_point、查表法激活函数（如sigmoid/ tanh的LUT）、以及Embedding表。该段同样只读，但访问频率极高，尤其是查表操作。
算子元数据段（.meta）：描述模型的计算图结构，包括算子类型（Conv2D、DepthwiseConv、Add等）、输入输出张量的维度、步长（stride）、填充（padding）、数据布局（NHWC/NCHW）以及各权重段的偏移量指针。该段体积小（通常几KB），但解析频率最高——每次推理都需要遍历。
输入/输出描述段（.io）：定义模型输入张量的形状、数据类型、内存对齐要求，以及输出张量的存放地址。该段还包含中间激活缓冲区的生命周期管理信息。

从存储属性来看，.wgt和.const属于“大块只读数据”，适合放在外部Flash中，并通过XIP（Execute in Place）机制直接寻址，或按需搬运到SRAM；.meta和.io属于“高频小数据”，建议在系统初始化时一次性加载到SRAM常驻，避免每次推理都访问外部Flash造成延迟。

  核心原理：MCU的存储映射本质上是“地址空间统一编址”的体现。外部Flash通过SPI/QSPI接口映射到MCU的地址空间（例如0x90000000起始），CPU可以直接通过指针访问该区域的数据，无需显式调用Flash驱动。但XIP模式下的读取速度受限于SPI时钟频率（通常20~80MHz），且无法执行写操作。因此，映射策略的核心是：将“读多写少”的大块数据放在XIP区，将“频繁随机读”的小块数据搬入SRAM，将“需要修改”的数据（如中间激活）放在SRAM。

3.2 外部存储映射的三种典型模式

根据MCU的硬件资源（是否有QSPI控制器、SRAM容量大小、是否支持XIP）和模型特性（模型大小、实时性要求），映射模式可分为以下三种。实际项目中往往混合使用。

映射模式	适用场景	优点	缺点	典型实现
全量XIP映射	模型≤16MB，MCU支持QSPI-XIP，推理延迟要求不高	无需SRAM搬运，代码简单，支持随机访问	读取速度受SPI时钟限制，功耗较高	将整个模型文件烧录到外部Flash，通过MPU配置为只读XIP区域
段搬运模式	SRAM容量有限（如256KB），模型>2MB	节省SRAM，只加载当前层所需权重	需要DMA驱动和调度逻辑，层切换有延迟	推理前将当前层权重从Flash DMA到SRAM，计算完再释放
混合映射	模型较大且实时性要求高	兼顾速度与容量，元数据常驻SRAM	实现复杂度高，需要精细的内存规划	.meta/.io放SRAM，.wgt/.const按层XIP或DMA

选择映射模式时，需要先进行存储预算分析：统计模型文件各段大小、SRAM可用容量、外部Flash容量、SPI读取带宽（=时钟频率×数据线位数/8）。例如，一个QSPI Flash工作在80MHz、四线模式，理论峰值带宽为40MB/s，而MCU内核运行在200MHz，SRAM访问带宽为800MB/s，两者相差20倍。因此，若模型推理需要频繁读取权重，全量XIP可能成为性能瓶颈。

3.3 映射实现的关键步骤与地址对齐

将模型文件映射到外部存储并非简单的“烧录+指针访问”，需要遵循以下操作流程，否则可能出现数据错位、对齐异常或缓存一致性问题。

段偏移计算与对齐：使用脚本（如Python）解析模型文件，提取各段的起始偏移和长度。将每个段的起始地址按照外部Flash的扇区大小（通常4KB或64KB）进行向上对齐。例如，若.wgt段长度为100KB，则其起始地址必须对齐到4KB边界，结束地址也需补齐到4KB整数倍，以便进行扇区擦除和写入。
生成映射描述符表：在MCU的Flash中（内部Flash或外部Flash头部）存放一个结构体数组，记录每个段的ID、外部Flash起始地址、长度、SRAM目标地址（若需要搬运）、访问属性（XIP/DMA）。该描述符表本身应放在固定地址，并在启动时加载到SRAM。
配置MPU/MMU：对于支持MPU的Cortex-M系列，需要将外部Flash映射区域配置为“只读、可缓存、可执行”属性，将SRAM区域配置为“读写、不可执行”属性。同时，若使用DMA搬运，需确保DMA描述符和缓冲区地址在MPU允许的区域内。
启动时校验与重定位：系统上电后，先读取外部Flash头部的CRC32校验值，对模型文件进行完整性校验。若校验失败，则从备份区加载。校验通过后，将.meta和.io段拷贝到SRAM的固定地址，并更新描述符表中的指针为SRAM地址。

// 映射描述符表结构示例（C语言）
typedef struct {
    uint32_t segment_id;      // 段标识: 0=权重, 1=常量, 2=元数据
    uint32_t flash_offset;    // 外部Flash中的偏移地址（已对齐）
    uint32_t length;          // 段长度（已补齐到4字节）
    uint32_t sram_addr;       // SRAM目标地址（若需搬运，否则为0）
    uint8_t  access_mode;     // 0=XIP, 1=DMA搬运, 2=常驻SRAM
    uint8_t  reserved[3];
} ModelSegmentDesc_t;

// 外部Flash布局示例
// 0x90000000: 模型头（魔数+版本+CRC32）
// 0x90000100: 段描述符表（4个段）
// 0x90000200: .meta 段（常驻SRAM）
// 0x90001000: .wgt 段（XIP映射）
// 0x90100000: .const 段（XIP映射）

风险提示：外部Flash的写入寿命有限（通常10万次擦写）。在开发调试阶段，频繁烧录模型会快速消耗Flash寿命。建议使用“双备份区”策略：A区存放当前稳定版本，B区存放待测试版本。同时，在代码中增加“写保护”机制，仅在OTA升级时解除写保护。另外，注意SPI Flash的“写操作前必须先擦除”特性，擦除粒度是扇区（4KB），因此映射描述符表应放在独立扇区，避免与权重数据混用导致频繁擦写。

3.4 实战案例：基于STM32H743的TFLite Micro模型映射优化

某工业视觉检测项目需要在STM32H743（Cortex-M7, 480MHz, 1MB SRAM）上部署一个图像分类模型，模型文件大小约1.8MB，其中权重数据1.5MB，常量表200KB，元数据80KB，IO描述20KB。外部存储采用W25Q128JV（16MB QSPI Flash，支持XIP）。初始方案采用全量XIP映射，但实测推理延迟为85ms，无法满足50ms的实时性要求。

性能分析过程：通过STM32CubeMonitor抓取总线负载，发现CPU在访问权重数据时，QSPI总线占用率高达92%，且由于权重访问的局部性差（卷积核遍历时跳跃式访问），XIP的缓存命中率仅45%。进一步分析发现，模型的第一层卷积（输入224×224×3，卷积核7×7×3×64）需要读取约9.4KB权重，但该层计算量占整个模型的30%。

优化方案实施：

将.meta和.io段（共100KB）在启动时拷贝到SRAM的DTCM区域（128KB），保证算子解析零等待。
将第一层卷积的权重（9.4KB）和BatchNorm参数（256B）通过DMA在推理启动前搬运到SRAM的AXI RAM区域，利用M7内核的D-Cache加速访问。
其余层权重（约1.49MB）保持XIP映射，但通过修改模型转换脚本，将权重按“层执行顺序”重新排列，提高顺序读取的缓存命中率。
启用QSPI的Memory-Mapped模式，并配置为“2线DTR模式”，将读取带宽从40MB/s提升到80MB/s。

结果对比：优化后推理延迟从85ms降至42ms，满足实时性要求。其中，元数据常驻SRAM贡献了约15ms的降幅（避免了每次算子解析的Flash访问），第一层权重DMA搬运贡献了约20ms降幅，QSPI DTR模式贡献了约8ms降幅。代价是SRAM占用增加了约110KB（元数据+第一层权重），但仍在1MB预算内。

复盘经验：全量XIP并非银弹。对于“计算密集且权重复用率高”的层（如卷积），应优先考虑DMA搬运到SRAM；对于“权重访问稀疏”的层（如全连接），XIP更合适。此外，权重排列顺序对缓存命中率影响巨大，建议在模型转换阶段就按照推理顺序重排张量数据。

经验总结：映射设计应遵循“大块顺序读用XIP，小块随机读用SRAM，高频解析用常驻”的原则。在项目初期，建议使用脚本自动生成映射描述符表，并预留调试接口（如通过串口打印各段访问次数），以便在性能调优时量化分析。同时，务必在硬件设计阶段预留QSPI Flash的片选、时钟和四线数据线的测试点，便于用逻辑分析仪验证时序。

3.5 常见误区与设计复盘

在MCU外部存储映射实践中，工程师常陷入以下误区，导致系统不稳定或性能不达标。

误区	后果	正确做法
忽略MPU配置，直接访问外部Flash地址	触发总线错误或数据异常（因默认属性为Strongly-ordered）	在启动代码中显式配置MPU区域，设置Cache策略和权限
将常量表与权重混放在同一扇区	OTA升级时需擦除整个扇区，导致常量表短暂不可用	将不同更新频率的数据分扇区存放
使用DMA搬运时未考虑Cache一致性	CPU读取到脏数据（DMA写入SRAM但D-Cache未失效）	搬运前调用SCB_CleanDCache，搬运后调用SCB_InvalidateDCache
认为XIP模式下Flash读取与SRAM一样快	低估推理延迟，导致实时性设计失败	通过示波器测量实际读取带宽，并预留30%余量

总结复盘时，建议建立“存储映射决策树”：首先评估模型大小与SRAM容量比值，若比值>2则必须采用段搬运或混合模式；其次评估推理延迟要求，若每层计算时间<1ms，则权重必须常驻SRAM；最后评估开发复杂度，优先选择MCU厂商提供的XIP驱动库，避免从零编写Flash驱动。