第1章
AI芯片缓存架构全景
为什么AI芯片需要专用缓存？缓存层次结构（L1/L2/L3/LLC）与AI工作负载的映射关系。
全景层次结构
第2章
SRAM vs eDRAM vs MRAM
不同存储介质在AI芯片中的优劣分析、功耗与面积权衡、实际芯片选型案例。
存储介质选型
第3章
数据复用与局部性原理
时间局部性、空间局部性在矩阵乘法与卷积中的体现，如何利用缓存减少DRAM访问。
局部性矩阵乘法
第4章
缓存一致性协议（MESI/MOESI）
多核AI芯片中的缓存同步问题，协议开销与优化策略。
一致性多核
第5章
非阻塞缓存与乱序执行
隐藏访存延迟的技术，MSHR（缺失状态保持寄存器）的设计与实现。
非阻塞MSHR
第6章
预取策略（硬件预取与软件预取）
顺序预取、步长预取、基于机器学习的预取器在AI场景下的应用。
预取ML预取器
第7章
缓存替换策略（LRU/LFU/ARC/SRRIP）
不同替换算法对AI推理与训练性能的影响，自适应替换策略。
替换策略自适应
第8章
写策略（写直达/写回/写分配）
AI训练中梯度更新的写行为分析，写合并与写缓冲技术。
写策略梯度更新
第9章
缓存分区与隔离
多租户AI芯片中的缓存资源隔离，QoS保证与性能干扰抑制。
分区QoS
第10章
近存计算（Processing-in-Memory）
将计算逻辑集成到缓存或DRAM中，减少数据搬运的开销。
近存计算PIM
第11章
存算一体架构
基于SRAM/ReRAM的存算一体单元，缓存与计算融合的挑战与机遇。
存算一体ReRAM
第12章
稀疏性感知缓存
针对稀疏神经网络（如剪枝模型）的缓存优化，零值跳过与压缩存储。
稀疏零值跳过
第13章
数据流与脉动阵列缓存
Systolic Array中的本地寄存器与全局缓存协同，数据重用的调度策略。
脉动阵列数据流
第14章
Transformer模型缓存优化
Self-Attention中的KV-Cache设计，长序列推理的缓存管理。
TransformerKV-Cache
第15章
多级缓存容量与带宽权衡
L1/L2/L3容量分配对吞吐量的影响，带宽匹配与延迟隐藏。
容量带宽
第16章
缓存感知的算子融合
通过算子融合减少中间结果的缓存压力，编译器层面的优化。
算子融合编译器
第17章
虚拟缓存与地址转换
AI芯片中的虚拟地址缓存，TLB设计与页表遍历优化。
虚拟缓存TLB
第18章
缓存错误纠正（ECC）
SRAM软错误对AI推理准确率的影响，ECC实现与性能开销。
ECC软错误
第19章
功耗管理
缓存动态电压频率调整（DVFS），数据保持与休眠模式，漏电控制。
DVFS低功耗
第20章
硬件加速器缓存设计
NVIDIA GPU（L1/L2/shared memory）、Google TPU（统一缓存）、华为昇腾（达芬奇架构）缓存对比。
GPUTPU昇腾
第21章
缓存仿真与建模
使用CACTI、Ramulator等工具进行缓存性能与功耗建模，设计空间探索。
CACTIRamulator
第22章
缓存性能分析工具
Perf、Valgrind、Gem5等工具在AI芯片缓存分析中的应用，热点识别。
PerfGem5
第23章
编译器与缓存的协同优化
编译器自动插入预取指令、数据布局优化、循环分块（Tiling）技术。
编译器Tiling
第24章
运行时缓存优化
动态缓存分配与重配置，基于运行时反馈的缓存策略调整。
运行时动态分配
第25章
异构缓存架构
CPU与AI加速器共享缓存的设计，缓存一致性开销与性能隔离。
异构共享缓存
第26章
3D堆叠缓存
HBM与SRAM的3D集成，TSV（硅通孔）技术对缓存带宽与延迟的影响。
3D堆叠HBM
第27章
缓存安全
侧信道攻击（如Prime+Probe）在AI芯片中的风险，缓存随机化与隔离机制。
安全侧信道
第28章
未来趋势
存算一体、近存计算、光学缓存、量子缓存等前沿技术展望。
前沿光学缓存
第29章
案例研究：NVIDIA A100/H100
NVIDIA A100/H100缓存架构深度解析，L2缓存分区与稀疏性支持。
A100H100
第30章
综合设计实践
设计一个面向边缘AI芯片的缓存子系统，从需求分析到架构选型再到性能评估。
实践边缘AI