4、外部RAM与片上SRAM协同部署的核心概念：内存分层、数据局部性、访问频率与延迟权衡
在ESP32的TinyML部署中，片上SRAM（约520KB）与外部PSRAM（可达8MB）构成了典型的异构内存体系。理解两者的协同部署，本质上是在回答三个问题：数据应该放在哪里？为什么放在那里？以及如何让硬件自动完成大部分搬运工作？本章从内存分层模型出发，逐步拆解数据局部性原理与访问频率/延迟的权衡方法，为后续章节的算子拆分与手动缓存管理奠定理论基础。
4.1 内存分层模型：从寄存器到外部存储的容量-延迟阶梯
ESP32-S3/WROOM-1模组的内存体系可抽象为四级阶梯：CPU寄存器与TCM（Tightly Coupled Memory）、片上SRAM、外部PSRAM、以及SPI Flash中的只读数据。每一级在容量、访问延迟和带宽上存在数量级差异。片上SRAM通过内部总线直接连接CPU核心，访问延迟约为8-16个时钟周期；而外部PSRAM通过SPI或QSPI接口通信，延迟飙升至40-80个周期，且带宽受限于SPI时钟频率（通常80MHz，4线模式理论峰值约40MB/s）。
在TinyML场景中，这种差异被进一步放大：卷积层的权重张量可能达到数百KB，而激活值（Feature Map）在每一层都会更新。若将所有数据不加区分地放入PSRAM，推理延迟将增加3-5倍；反之，若全部塞入SRAM，则模型规模被严格限制在约400KB以内（需预留系统堆栈与运行时开销）。因此，内存分层的核心任务不是“选择某一级”，而是“将不同特性的数据映射到最合适的层级”。
| 内存层级 | 典型容量 | 访问延迟 | 带宽特性 | TinyML典型用途 |
|---|---|---|---|---|
| CPU寄存器/TCM | 16-32KB | 1-2周期 | 全速 | 循环计数器、指针、临时标量 |
| 片上SRAM | 512KB | 8-16周期 | 128位总线 | 激活值、中间张量、高频权重缓存 |
| 外部PSRAM | 2-8MB | 40-80周期 | SPI/QSPI 40MB/s | 模型权重、常量表、大数据缓冲区 |
| SPI Flash | 4-16MB | 100+周期 | 按页读取 | 模型存档、只读权重（需映射） |
理解这一阶梯的关键在于：容量每提升一个数量级，延迟约增加3-5倍。协同部署的本质，就是利用这一规律，将高频访问的小数据（如当前层的输入/输出张量）放在SRAM，将低频访问的大数据（如已加载的权重）放在PSRAM，并通过预取（Prefetch）和DMA传输来掩盖延迟。
4.2 数据局部性原理：时间局部性与空间局部性的工程化应用
数据局部性（Data Locality）是内存协同部署的理论基石。在TinyML推理中，时间局部性体现为：同一份权重在多个卷积通道中被重复使用（例如3x3卷积核在特征图上滑动时，每个权重被复用9次以上）；空间局部性体现为：相邻像素/通道的数据在内存中连续排列，便于突发读取。ESP32的缓存控制器（Cache Controller）会自动利用这两种局部性，但前提是数据布局合理。
具体到工程实现，需要遵循三条布局原则：第一，将权重按通道顺序连续存储，避免跨页跳转；第二，将激活值张量按HWC（Height-Width-Channel）格式排列，而非NHWC，以减少行缓冲跳跃；第三，对于PSRAM中的权重，采用16字节对齐的块读取，使SPI控制器每次突发传输都能填满缓存行。以下代码展示了如何在ESP-IDF中配置PSRAM的缓存策略：
// 配置PSRAM为64KB缓存行预取模式
esp_psram_config_t psram_cfg = {
.cs_io = 14,
.clk_io = 15,
.mode = ESP_PSRAM_MODE_QSPI,
.cache_line_size = 64, // 关键：与SPI突发长度匹配
.prefetch_enable = true,
.high_speed = true
};
esp_psram_init(&psram_cfg);
// 将权重数组标记为“流式读取”属性
uint8_t *weights = heap_caps_malloc(weight_size, MALLOC_CAP_SPIRAM);
// 使用cache_writeback_addr()确保DMA可见性
cache_writeback_addr((uint32_t)weights, weight_size);空间局部性的另一个重要应用是张量分块（Tiling）。当激活值张量超过SRAM容量时，不应整体放入PSRAM，而应将其切分为多个Tile，每个Tile在SRAM中完成计算后再写回。例如，一个224x224x32的中间张量（约1.6MB）可切分为4个112x112x32的Tile，每个Tile约400KB，恰好适配SRAM剩余空间。这种分块策略将PSRAM访问次数从“每元素一次”降为“每Tile一次”，大幅提升有效带宽。
4.3 访问频率与延迟权衡：量化决策矩阵
并非所有数据都值得放入SRAM。访问频率（Access Frequency）与数据量（Data Volume）构成二维决策矩阵。高频小数据（如循环计数器）应留在寄存器；高频大数据（如每层激活值）必须驻留SRAM；低频小数据（如模型超参数）可放PSRAM；低频大数据（如权重）则需结合流式访问策略。下表给出了具体的判断阈值：
| 数据特征 | 访问频率 | 数据量 | 推荐放置 | 延迟优化手段 |
|---|---|---|---|---|
| 卷积核权重 | 每层1次（流式） | 10KB-1MB | PSRAM | DMA预取到SRAM缓存区 |
| 激活值（当前层） | 每算子多次 | 10-400KB | SRAM | 直接寻址，无额外延迟 |
| BatchNorm参数 | 每通道1次 | 1-10KB | SRAM | 常驻，避免重复加载 |
| 输入图像/音频 | 推理开始/结束 | 50-500KB | PSRAM | 双缓冲+中断式DMA |
| 输出结果 | 推理结束 | 1-10KB | SRAM | 直接返回，无需搬运 |
延迟权衡的核心公式为：总推理时间 ≈ Σ(计算时间 + 内存访问时间)。当计算单元（如向量指令）与内存访问重叠时，实际延迟可被隐藏。ESP32的DMA控制器支持内存到内存的异步传输，因此可以在CPU计算当前层的同时，预取下一层的权重。这种“计算-搬运”流水线可将PSRAM延迟从80周期降至接近0（隐藏延迟）。但需注意：DMA传输会占用总线带宽，若同时存在多个DMA通道，需合理分配优先级。
4.4 案例拆解：图像分类模型的混合内存部署
以ESP32-S3运行轻量级图像分类模型（输入96x96x3，4层卷积+2层全连接）为例，展示完整的协同部署流程。模型总权重约380KB，激活值峰值约120KB，SRAM可用空间约400KB（已扣除系统占用）。初始方案将所有数据放入SRAM，但编译失败——权重+激活值+堆栈超出限制。
分析过程：通过ESP-IDF的heap_caps_printf()检查内存分配，发现权重占380KB，激活值占120KB，系统堆栈占50KB，总计550KB。必须将至少150KB数据移至PSRAM。进一步分析各层权重访问频率：第一层卷积权重（3x3x3x16=432B）在每次推理中仅被读取一次，而最后一层全连接权重（64x10=640B）被读取一次。所有权重均属于“流式访问”，适合放入PSRAM。
实施步骤：
- 将全部权重数组通过
heap_caps_malloc(size, MALLOC_CAP_SPIRAM)分配至PSRAM。 - 在SRAM中分配两个8KB的DMA缓冲区，用于交替预取权重块。
- 修改推理循环：在计算第N层时，通过
dma_read(weights + offset, buf, size)预取第N+1层权重。 - 激活值张量保持在SRAM，但采用Tiling策略：将96x96x16的中间张量切分为两个48x96x16的Tile，每个约36KB。
结果对比：部署后SRAM占用降至398KB（权重0KB + 激活值120KB + 缓冲区16KB + 堆栈50KB + 系统212KB），推理延迟从无法运行变为可运行，实测单次推理212ms。进一步优化（将BatchNorm参数常驻SRAM、激活值复用）后降至168ms。风险点在于：DMA预取失败时（如总线冲突），需回退到同步读取，此时延迟会突增至300ms以上。因此增加了超时重试机制。
4.5 总结复盘：协同部署的决策清单
本章的核心可归纳为“一个模型、两条原则、三个步骤”。一个模型指内存分层阶梯模型；两条原则是“高频数据靠近CPU”和“大数据流式访问”；三个步骤为：① 盘点数据特征（生命周期、访问频率、数据量、访问模式）；② 映射到内存层级（使用4.3节决策矩阵）；③ 设计搬运机制（DMA预取、双缓冲、Tiling）。
在实际项目中，建议先使用idf.py menuconfig中的“Component config → ESP PSRAM”开启PSRAM，并通过CONFIG_SPIRAM_CACHE_WRITEBACK启用写回缓存。然后利用heap_caps_check_integrity_all(true)验证内存分配正确性。最后，通过esp_timer测量各层推理耗时，定位内存瓶颈——若某层耗时异常高，优先检查该层权重是否在PSRAM中发生了随机访问（而非顺序访问），随机访问会破坏缓存行预取效率。