内存带宽基础：定义、计算方式与存储特性

在嵌入式AI推理场景中，Ethos-U系列NPU的算力往往不是唯一瓶颈，内存带宽才是决定系统实时性的关键约束。理解内存带宽的本质、掌握其计算方法、熟悉DDR与SRAM的差异化特性，是进行后续带宽优化（如权重重排、激活压缩、双缓冲策略）的前提。本章将从物理定义出发，逐步拆解带宽对推理延迟的影响路径，并给出可操作的估算方法与工程判断准则。

2.1 内存带宽的物理定义与工程含义

内存带宽（Memory Bandwidth）指存储系统在单位时间内能够传输的数据总量，单位通常为MB/s或GB/s。在Ethos-U系统中，带宽并非一个固定数值，而是由存储控制器、总线位宽、时钟频率和协议效率共同决定的动态能力。从物理层面看，每一次数据读取都涉及地址建立、行激活、列选择、数据传输和预充电等多个阶段，实际有效带宽往往远低于理论峰值。

工程中需要区分三个带宽概念：理论峰值带宽（由硬件规格决定）、可持续带宽（在连续读写场景下可维持的速率）、有效带宽（扣除协议开销、刷新损耗、仲裁等待后的实际吞吐）。对于Ethos-U这类NPU加速器，有效带宽通常只有理论值的50%-70%，这一折扣主要来自DDR的刷新周期、总线仲裁冲突和访问模式不连续。

2.2 带宽计算方式与总线协议开销

理论带宽的计算公式为：BW = 时钟频率 × 数据总线位宽 × 倍率系数。其中倍率系数源于DDR（Double Data Rate）技术，在每个时钟周期的上升沿和下降沿各传输一次数据，因此倍率为2。例如，一个400MHz的32位DDR3控制器，其理论带宽为：400MHz × 32bit × 2 = 25.6Gbit/s = 3.2GB/s。

然而，AXI总线协议和DDR控制器本身会引入额外开销。每次突发传输（Burst）需要地址阶段、数据阶段和响应阶段，当突发长度较短时，地址和响应开销占比显著上升。以AXI4协议为例，固定突发长度（Fixed Burst）效率最低，增量突发（INCR）效率较高，而回绕突发（WRAP）适合缓存行对齐访问。实际工程中，建议将DMA传输长度设置为256字节以上，以摊薄协议开销。

从表中可以看出，SRAM的带宽优势是数量级的，但其容量限制使得无法将所有模型参数驻留片上。因此，Ethos-U的典型工作模式是：将权重和激活数据分块（Tile）从DDR搬运到SRAM，计算完成后再搬回结果。这种"搬运-计算"交替模式决定了系统性能的上限。

2.3 DDR与SRAM特性对比及对推理的影响

DDR（双倍速率同步动态随机存储器）和SRAM（静态随机存储器）在架构上存在本质差异。DDR使用电容存储电荷，需要周期性刷新（通常64ms内刷新8192行），这导致约2%-5%的带宽被刷新操作占用。同时，DDR的随机访问效率极低，当访问地址跨越不同Bank或Row时，需要额外的预充电和行激活周期，可能造成数十个时钟周期的惩罚。

SRAM则使用触发器存储数据，无需刷新，访问任意地址的延迟基本一致。但SRAM的单元面积是DDR的6-8倍，成本高昂，因此片上SRAM容量通常只有几百KB到几MB。对于Ethos-U系列，不同型号的SRAM配置差异显著：U55拥有约2MB的SRAM，而U65则扩展到4MB左右，这直接决定了可同时驻留的权重规模。

带宽瓶颈对推理延迟的影响可以通过以下公式量化：推理时间 ≈ max(计算时间, 数据搬运时间)。当数据搬运时间大于计算时间时，系统处于"带宽受限"状态，此时增加NPU算力无法提升性能。判断方法很简单：如果DMA引擎持续忙碌而MAC阵列有空闲等待，即为带宽受限；反之则为计算受限。

2.4 带宽瓶颈的工程诊断与优化策略

在实际项目中，诊断带宽瓶颈需要结合硬件计数器和性能分析工具。Ethos-U系列通常提供以下关键计数器：总线访问次数、DDR读/写字节数、SRAM命中率、DMA等待周期数。通过读取这些寄存器，可以精确计算当前应用的有效带宽利用率。

// 伪代码：带宽利用率计算
ddr_read_bytes = read_perf_counter(DDR_READ_BYTES);
ddr_write_bytes = read_perf_counter(DDR_WRITE_BYTES);
total_time_us = read_perf_counter(CYCLE_COUNTER) / cpu_freq_mhz;
effective_bw = (ddr_read_bytes + ddr_write_bytes) / total_time_us;
utilization = effective_bw / theoretical_bw * 100;
if (utilization > 85) {
    // 带宽接近饱和，需要优化
    enable_weight_compression();
    enable_activation_pruning();
}

针对带宽瓶颈，常用的优化手段包括：权重重排（将权重按通道顺序排列，提高DDR突发传输效率）、激活量化（将16位激活压缩为8位，减少50%传输量）、双缓冲（使用两块SRAM交替加载和计算，隐藏搬运延迟）、算子融合（将多个连续操作合并，避免中间结果写回DDR）。

2.5 案例拆解：图像分类模型的带宽瓶颈定位

以一个基于Ethos-U55的视觉唤醒词检测系统为例，模型为MobileNetV2（输入96×96×3，权重约3.5MB），运行在400MHz DDR3、32位总线的平台上。初始实现中，推理延迟为85ms，远高于50ms的设计目标。

初步诊断：通过性能计数器发现，DDR读取总量为12.8MB，而理论最小需求为3.5MB（权重）+ 0.5MB（激活）= 4MB。额外8.3MB的读取来自权重重复加载和激活溢出。进一步分析发现，SRAM容量为2MB，而单层推理需要同时驻留输入特征图（约200KB）、输出特征图（约200KB）和当前层权重（最大层为1.2MB），总计1.6MB，勉强可容纳。但实际运行中，由于内存碎片和DMA对齐要求，实际可用SRAM仅1.4MB，导致部分层需要分两次加载权重。

优化措施：① 将权重按16字节对齐重排，减少DDR突发传输次数；② 对第一层和最后一层使用8位量化（精度损失<0.5%），减少激活传输量；③ 实现双缓冲机制，将DMA搬运与MAC计算重叠。优化后，DDR读取总量降至5.2MB，推理延迟降至42ms，满足实时性要求。

复盘经验：带宽优化不是单一手段的功劳，而是存储布局、数据格式、调度策略的综合结果。建议在项目初期就建立带宽预算表，明确每层网络的DDR访问量上限，避免后期被动优化。