VIP20

本课程属于：007-存算一体 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI芯片缓存命中率提升实战

📚 共计 30 章节

01

缓存基础

为什么AI芯片需要缓存？缓存的工作原理与层级结构。

核心概念入门

02

局部性原理

时间局部性与空间局部性在AI计算中的应用。

原理AI计算

03

缓存映射策略

直接映射、组相联、全相联的优缺点对比。

映射对比

04

替换策略

LRU、LFU、FIFO、随机替换在AI场景下的表现。

替换算法AI

05

写策略

写直达与写回策略对AI训练的影响。

写策略训练

06

预取机制

硬件预取与软件预取在矩阵运算中的实践。

预取矩阵

07

缓存一致性

多核AI芯片中的MESI协议与优化。

一致性多核

08

数据复用

卷积神经网络中的数据复用模式分析。

CNN复用

09

分块技术

循环分块与缓存阻塞技术详解。

分块阻塞

10

张量布局

NHWC与NCHW格式对缓存命中率的影响。

布局张量

11

内存对齐

地址对齐与缓存行利用率的提升技巧。

对齐缓存行

12

数据压缩

稀疏矩阵压缩与缓存效率提升。

压缩稀疏

13

量化感知

INT8量化对缓存带宽的优化。

量化INT8

14

流水线设计

指令流水线与数据预取的协同。

流水线协同

15

多级缓存

L1/L2/L3缓存的容量与延迟权衡。

多级延迟

16

缓存分区

QoS场景下的缓存隔离技术。

分区QoS

17

非阻塞缓存

Miss处理与流水线停顿的消除。

非阻塞停顿

18

Victim缓存

减少冲突Miss的硬件技巧。

Victim冲突

19

流式缓存

针对流式数据的专用缓存设计。

流式专用

20

近存计算

存算一体架构下的缓存优化。

近存存算一体

21

编译器优化

自动缓存分块与循环交换。

编译器循环交换

22

Profile引导

基于运行时信息的缓存优化。

Profile运行时

23

硬件计数器

PMU事件与缓存性能分析。

PMU性能

24

模拟器工具

Gem5与Cachegrind的使用技巧。

模拟器Gem5

25

性能调优

从Profiling数据定位缓存问题。

调优Profiling

26

Transformer优化

Attention计算中的缓存复用。

TransformerAttention

27

推荐系统

大规模Embedding的缓存策略。

推荐Embedding

28

图神经网络

不规则访存下的缓存优化。

GNN不规则

29

多租户场景

云AI芯片的缓存共享与隔离。

多租户隔离

30

未来趋势

CXL互连与内存池化对缓存架构的影响。

CXL内存池化