第1章
AI芯片与缓存概述
AI芯片发展简史 · 存储墙 · 缓存层次结构 · 对AI性能的决定性影响
基础全局
第2章
缓存基础原理
SRAM vs DRAM · 组相联 · 写直达/写回 · LRU/伪LRU/Random
原理替换策略
第3章
AI工作负载特征分析
CNN数据流 · Transformer自注意力 · 矩阵乘法数据复用
CNNTransformer
第4章
数据复用性与局部性
时间/空间局部性 · 输入/权重/输出部分和复用
局部性复用
第5章
循环分块 (Loop Tiling)
分块思想 · 大小选择 · 命中率影响 · 多级缓存分块
优化循环
第6章
数据重排与预取
NHWC vs NCHW · 内存对齐 · 预取指令 · 软件流水线
LayoutPrefetch
第7章
脉动阵列与缓存
Systolic Array · 权重/输入/输出驻留
脉动数据流
第8章
Google TPU缓存架构
TPU v1/v2/v3 · 统一缓冲区 · MXU与缓存交互
TPUGoogle
第9章
NVIDIA GPU缓存架构
L1/L2 · 共享内存 · 寄存器 · Tensor Core协同
GPUNVIDIA
第10章
华为昇腾缓存架构
达芬奇架构 · L0/L1缓存 · Cube Unit交互
昇腾达芬奇
第11章
AMD CDNA架构缓存
Infinity Cache · L2分区 · Matrix Core协同
AMDCDNA
第12章
Intel Habana Gaudi缓存
SRAM+HBM · Synapse AI Engine · 通信计算重叠
HabanaIntel
第13章
缓存一致性协议
MESI/MOESI · 目录协议 · AI芯片一致性挑战
一致性MESI
第14章
虚拟内存与TLB
页表 · TLB结构 · 大页 · TLB预取
TLB大页
第15章
近存计算 (NMC)
3D堆叠HBM · PIM · 三星HBM-PIM · UPMEM
近存HBM
第16章
存内计算 (IMC)
模拟/数字存内 · RRAM/STT-MRAM · 存算一体
存内RRAM
第17章
稀疏性优化与缓存
权重剪枝 · 激活稀疏 · CSR/CSC · 稀疏引擎
稀疏剪枝
第18章
量化与缓存
INT8/INT4 · 混合精度 · 量化带宽影响 · QAT
量化INT8
第19章
数据流架构
空间vs时间 · Eyeriss · Systolic数据流优化
数据流Eyeriss
第20章
编译器优化与缓存
TVM/Ansor · XLA/MLIR · 自动调优 · 编译指导
TVM编译器
第21章
多核缓存一致性
监听/目录协议 · NUMA · 多核缓存分区
多核NUMA
第22章
缓存分区与隔离
QoS · 缓存染色 · 虚拟化隔离 · 实时推理
隔离QoS
第23章
缓存预取技术
硬件预取器 · 软件预取 · 步长预取 · AI预取
预取步长
第24章
缓存替换策略优化
RRIP · SHiP · 基于学习的替换
RRIPSHiP
第25章
写合并与写缓冲
写合并缓冲区 · 写缓冲深度 · 写回策略优化
写合并写缓冲
第26章
非易失性缓存 (NVM)
Intel Optane · SCM · NVM+DRAM混合 · 磨损均衡
NVMOptane
第27章
片上网络 (NoC) 与缓存
Mesh/Ring/Crossbar · 一致性协议 · 带宽延迟
NoC拓扑
第28章
AI芯片缓存性能建模
CACTI · McPAT · 命中率模型 · 延迟功耗模型
建模CACTI
第29章
缓存性能基准测试
STREAM · MLPerf推理 · 微基准 · perf/roofline
基准MLPerf
第30章
未来趋势与前沿
存算一体 · 光子/量子缓存 · AI驱动架构
前沿趋势