第1章
AI芯片存储墙问题
为什么AI芯片需要精心设计缓存架构？从冯·诺依曼瓶颈到存储墙的演进。
存储墙冯·诺依曼
第2章
缓存层次结构基础
L1/L2/L3缓存的基本概念、容量、延迟与带宽的权衡。
层次结构延迟/带宽
第3章
SRAM vs DRAM
片上缓存为什么用SRAM？SRAM的6T单元结构、功耗与面积分析。
6T单元功耗面积
第4章
缓存一致性协议
MESI协议详解、MOESI协议、以及AI芯片中的简化实现。
MESIMOESI
第5章
缓存映射策略
直接映射、组相联、全相联映射的优缺点与AI workload适配。
组相联直接映射
第6章
替换策略深度解析
LRU、LFU、FIFO、Random策略在AI推理中的表现对比。
LRULFUFIFO
第7章
写策略
写直达(Write-Through) vs 写回(Write-Back)在AI训练场景下的选择。
写直达写回
第8章
AI芯片的专用缓存架构
NVIDIA GPU的L1/L2缓存设计、Tensor Core与缓存交互。
NVIDIATensor Core
第9章
Google TPU的缓存设计
统一缓冲区(Unified Buffer)架构、systolic array数据流。
TPU脉动阵列
第10章
华为昇腾达芬奇架构
Cube Unit与缓存系统、AI Core的Local Memory设计。
昇腾达芬奇
第11章
AMD CDNA架构缓存
Infinity Cache设计理念、与HBM的协同工作。
Infinity CacheHBM
第12章
Intel Habana Gaudi架构
SRAM与HBM的混合缓存策略、Synapse AI软件栈。
HabanaSynapse AI
第13章
Graphcore IPU架构
分布式SRAM设计、Poplar软件与缓存管理。
IPUPoplar
第14章
Cerebras Wafer Scale Engine
无片外缓存、片上SRAM网络、数据流计算。
晶圆级SRAM网络
第15章
SambaNova RDU架构
可重构数据流单元(RDU)与片上存储的映射。
RDU可重构
第16章
Groq LPU架构
确定性执行与SRAM缓存、无DRAM设计哲学。
LPU无DRAM
第17章
存算一体架构
近存计算与存内计算、ReRAM/MRAM在AI缓存中的应用前景。
存算一体ReRAM
第18章
数据复用与缓存优化
输入特征图复用、权重复用、输出部分和复用策略。
数据复用特征图
第19章
数据流与缓存调度
权值固定(Weight Stationary)、输入固定(Input Stationary)、输出固定(Output Stationary)数据流。
数据流Stationary
第20章
循环分块(Loop Tiling)与缓存
分块大小对缓存命中率的影响、Roofline模型分析。
Loop TilingRoofline
第21章
预取技术
硬件预取与软件预取、AI推理中的预取策略设计。
预取硬件/软件
第22章
非阻塞缓存与乱序执行
Miss状态保持寄存器(MSHR)、多级缓存下的非阻塞设计。
MSHR非阻塞
第23章
虚拟化缓存
多租户AI芯片的缓存隔离、QoS保证、缓存分区技术。
多租户QoS
第24章
缓存功耗优化
低功耗SRAM设计、数据压缩缓存、近阈值计算缓存。
低功耗近阈值
第25章
3D堆叠缓存
HBM与3D SRAM、混合键合技术、热管理挑战。
3D堆叠HBM
第26章
缓存错误处理
ECC纠错码、缓存行失效恢复、软错误防护。
ECC软错误
第27章
编译器与缓存协同
TVM、MLIR的缓存优化pass、自动调优与缓存感知调度。
TVMMLIR
第28章
缓存性能建模
CACTI工具使用、McPAT功耗建模、gem5缓存模拟。
CACTIgem5
第29章
AI芯片缓存基准测试
STREAM、MLPerf推理缓存分析、自定义微基准测试。
MLPerfSTREAM
第30章
未来趋势
存算一体、近存计算、光子缓存、量子缓存的前沿探索。
光子缓存量子缓存