VIP20

本课程属于：010-编译器适配 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI芯片缓存深度解析

📚 共计 30 章节

AI芯片缓存概述

为什么AI芯片需要缓存？缓存的基本概念与层次结构（L1/L2/L3）。

SRAM工作原理、DRAM工作原理、两者的对比与在AI芯片中的应用。

缓存一致性

什么是缓存一致性？MESI协议详解、AI芯片中的一致性挑战。

缓存替换策略

LRU、LFU、随机替换、AI工作负载下的替换策略选择。

写直达（Write-Through）、写回（Write-Back）、写分配（Write-Allocate）与非写分配。

写策略一致性

缓存带宽与延迟

影响缓存性能的关键指标、如何优化带宽与延迟。

AI芯片中的专用缓存

权重缓存、激活缓存、输出缓存的设计思路。

数据复用与缓存

卷积运算中的数据复用模式、缓存命中率优化。

多级缓存架构

L1/L2/L3的容量与延迟权衡、典型AI芯片的缓存配置。

缓存与DDR的交互

缓存未命中时的处理流程、预取机制。

近存计算的概念、在AI芯片中的应用案例。

存内计算原理、与缓存的关系、典型架构。

稀疏性感知缓存

如何利用权重/激活的稀疏性优化缓存。

量化感知缓存

低精度数据在缓存中的存储与访问优化。

量化低精度

多核缓存共享

多核AI芯片的缓存共享策略、一致性协议。

硬件缓存分区技术、在AI多任务场景下的应用。

分区多任务

虚拟地址缓存、物理地址缓存、AI芯片中的选择。

预取算法（顺序、步长、马尔可夫）、AI场景下的预取优化。

缓存数据压缩技术、无损/有损压缩在AI芯片中的应用。

侧信道攻击、缓存隔离、安全缓存设计。

缓存功耗模型、低功耗缓存设计技术。

功耗低功耗

缓存测试与验证

缓存功能验证、性能测试方法。

典型AI芯片缓存分析：NVIDIA GPU

NVIDIA GPU缓存架构深度分析。

典型AI芯片缓存分析：Google TPU

Google TPU缓存架构深度分析。

典型AI芯片缓存分析：华为昇腾

华为昇腾缓存架构深度分析。

典型AI芯片缓存分析：Apple Neural Engine

Apple Neural Engine缓存架构深度分析。

缓存设计工具

缓存模拟器（如CACTI）、性能分析工具。

缓存优化方法论

基于数据流图的缓存优化、编译器辅助缓存优化。

方法论编译器

存算一体、3D堆叠缓存、新型存储介质。

综合案例：设计AI加速器缓存子系统

设计一个AI加速器的缓存子系统，综合运用所学知识。