01
AI芯片概览与缓存架构基础
AI芯片发展历程、主流架构对比、缓存层次结构基本概念
GPU/TPU/NPUL1/L2/L3
02
片上存储系统详解
SRAM与DRAM区别、片上存储器组织、多级缓存一致性协议
SRAM一致性
03
数据复用与局部性原理
时间/空间局部性、数据复用距离、优化缓存命中率
复用距离命中率
04
缓存替换策略
LRU/LFU/FIFO/随机替换原理与AI负载性能对比
LRULFUFIFO
05
写策略与写缓冲
Write-Through/Write-Back、写合并技术、写缓冲区设计
写合并Write Buffer
06
非阻塞缓存与预取技术
Non-blocking Cache、硬件/软件预取指令
预取非阻塞
07
AI芯片中的专用缓存设计
权重缓存、激活缓存、输出缓存的设计考量
Weight BufferActivation
08
数据流与缓存映射
IFMap/权重/OFMap的缓存映射策略
数据流映射
09
脉动阵列与缓存交互
Systolic Array工作原理、PE阵列与缓存数据流动、带宽需求
脉动阵列PE
10
算子融合概念与动机
什么是算子融合、减少访存/降低延迟、融合粒度
融合动机粒度
11
常见算子融合模式
Conv+BN、Conv+ReLU、Conv+BN+ReLU、MatMul+Add融合
Conv+BNReLU
12
融合算子的数学等价性
线性变换融合条件、非线性激活限制、数值精度
等价性精度
13
TVM与算子融合
TVM融合Pass、规则定义、代码生成
TVMPass
14
XLA与算子融合
HLO融合策略、Layout Assignment、自动/手动融合
XLAHLO
15
MLIR与算子融合
Dialect设计、Linalg融合能力、Transform调度
MLIRLinalg
16
Triton与算子融合
Triton融合编程模型、TMA加速器、手写融合Kernel
TritonTMA
17
缓存感知的算子融合
根据缓存大小决定融合、Tile Size选择、分块与融合协同
缓存感知Tiling
18
多级缓存下的融合优化
L1/L2友好策略、HBM与融合权衡
L1L2HBM
19
融合算子的内存规划
中间结果暂存、内存别名、In-place/Out-of-place更新
内存别名In-place
20
融合算子的调度优化
循环顺序调整、循环展开与融合、向量化结合
调度向量化
21
动态形状与算子融合
动态形状挑战、缓存分配、编译时/运行时优化
动态形状运行时
22
稀疏性感知的缓存与融合
CSR/CSC/COO格式、稀疏算子缓存访问与融合策略
稀疏CSR
23
量化感知的缓存与融合
INT8/INT4量化带宽影响、量化算子融合、反量化融合
INT8量化
24
多核/多芯片的缓存一致性
多核共享缓存、NoC/PCIe/CCIX协议、分布式融合
一致性NoC
25
编译器中间表示与缓存建模
IR内存层次表示、缓存命中率静态分析、代价模型融合决策
IR代价模型
26
自动融合搜索
动态规划/强化学习/GNN融合预测
自动搜索GNN
27
硬件-软件协同设计的融合优化
定制化缓存架构、Fuse-Friendly硬件、软硬件接口
协同设计定制
28
典型AI模型的缓存与融合分析
ResNet/Transformer/BERT缓存与融合优化
ResNetTransformer
29
性能分析与调优工具
Perf缓存缺失分析、Nsight Compute GPU缓存、自定义Profiler
PerfNsight
30
前沿趋势与未来挑战
存算一体、3D堆叠缓存、大模型(LLM)缓存与融合挑战
存算一体LLM