3. 内存带宽与多通道：单通道与多通道差异、内存频率与时序、带宽测试工具（STREAM）、多线程带宽优化

3.1 内存带宽与多通道架构原理

CPU 访问内存的带宽取决于内存控制器与物理内存之间的数据通路宽度。现代 CPU 集成内存控制器，支持多个独立通道（Channel），每个通道连接一组 DIMM 插槽。单通道、双通道、四通道的物理布局和带宽上限差异明显：

• 单通道：一个 64 位数据总线，每次传输 8 字节（Byte）。峰值带宽 = 内存时钟频率 × 2（DDR） × 8 字节 × 1 通道。
• 双通道：两个 64 位总线同时工作，理论峰值提升至 2 倍。实际增益受内存控制器效率和地址交错（Interleaving）影响，通常在 1.5–1.9 倍之间。
• 四通道：四个 64 位总线，理论峰值为单通道的 4 倍，常见于 HEDT/服务器平台。

带宽计算公式（以 DDR4-3200 双通道为例）：

时钟频率 = 1600 MHz (DDR 等效 3200 MT/s)
峰值带宽 = 1600 MHz × 2 × 8 字节 × 2 通道 = 51.2 GB/s

3.2 内存频率与时序：带宽 vs 延迟

内存频率（MT/s）决定数据传输速率，时序（CAS Latency, tRCD, tRP, tRAS 等）决定访问延迟。对带宽型应用，频率更重要；对随机访问型应用，时序更重要。

延迟 ≈ CL × (2000 / 等效频率)。高频率但高 CL 可能导致延迟不降反升。对于内存带宽敏感场景（如 HPC 数值计算），高频率、多通道优先于低时序。

3.3 STREAM 基准测试：安装、运行与解读

STREAM 是业界最权威的内存带宽微基准，测试四种操作：Copy、Scale、Add、Triad。推荐在物理机裸金属上运行，避免虚拟化干扰。

3.3.1 安装

wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c
# 或 clone 官方仓库
git clone https://github.com/jeffhammond/STREAM
cd STREAM

3.3.2 编译与调优参数

关键编译选项：-DSTREAM_ARRAY_SIZE（数组大小，至少 4×L3缓存）、-DNTIMES（重复次数）、-march=native -O2 -fopenmp（多线程）。

# 双通道 DDR4-3200 典型编译
gcc -O2 -fopenmp -march=native \
    -DSTREAM_ARRAY_SIZE=200000000 \
    -DNTIMES=20 \
    stream.c -o stream_omp

# 运行并指定线程数（通常等于物理核心数）
export OMP_NUM_THREADS=8
./stream_omp

3.3.3 输出解读

STREAM 输出会显示每种操作的最佳、平均、最差带宽（MB/s）。关注 Triad 值（a[i] = b[i] + c[i] × d[i]），它最接近实际混合负载。与理论峰值比较：

-------------------------------------------------------------
Function    Best Rate MB/s  Avg time     Min time     Max time
Copy:           41200.2     0.013032     0.010805     0.015237
Scale:          40890.1     0.013123     0.010886     0.015412
Add:            43900.5     0.014523     0.012144     0.016811
Triad:          44500.3     0.014783     0.011973     0.017033
-------------------------------------------------------------

如果 Triad 带宽低于理论峰值的 60%，可能存在通道未启用、频率过低或 NUMA 绑定错误。

3.4 多线程带宽优化：亲和性与预取

多线程同时访问内存时，若线程跨内存控制器（NUMA 节点）或共享同一通道，带宽可能不线性扩展。优化方向包括：

1. NUMA 感知绑定：将线程绑定到同一 NUMA 节点，并分配本地内存。
2. 通道交织调度：确保线程访问地址均匀分布在所有通道。
3. 预取与向量化：使用编译器预取指令或手写 _mm_prefetch 减少缓存缺失。

3.4.1 线程亲和性设置

# 使用 numactl 绑定到 node 0
numactl --membind=0 --cpunodebind=0 ./stream_omp

# 在代码内部设置（libnuma）
#include <numa.h>
struct bitmask *mask;
mask = numa_allocate_cpumask();
numa_bitmask_setbit(mask, 0);
numa_bitmask_setbit(mask, 1);
numa_bind(mask);
numa_free_cpumask(mask);

3.4.2 大型数组的通道对齐

分配内存时使用 posix_memalign 确保基址对齐到缓存行或页面，避免跨通道分裂：

double *data;
posix_memalign((void**)&data, 4096, size * sizeof(double));
// 或以 2MB 大页分配
#include <sys/mman.h>
data = mmap(NULL, size*sizeof(double), PROT_READ|PROT_WRITE,
            MAP_PRIVATE|MAP_ANONYMOUS|MAP_HUGETLB, -1, 0);

3.4.3 缓存分块（Cache Blocking）

对于数据重用型循环，将数组切成块，每块适合 L2/L3 缓存大小，减少内存带宽压力：

#define BLOCK 256
for (int ii = 0; ii < N; ii += BLOCK)
    for (int jj = 0; jj < M; jj += BLOCK)
        for (int i = ii; i < min(ii+BLOCK, N); ++i)
            for (int j = jj; j < min(jj+BLOCK, M); ++j)
                C[i*M+j] = A[i*M+j] + B[i*M+j];

3.5 常见错误排查