VIP20

本课程属于：010-编译器适配 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

内存墙问题 · 编译器破局

📚 共计 30 章节

内存墙的由来

冯诺依曼瓶颈、处理器与内存速度鸿沟、摩尔定律的失效

背景核心概念

内存墙的量化分析

延迟、带宽、容量三要素，以及Roofline模型

编译器视角的内存墙

访存局部性原理、缓存层次结构、TLB缺失

编译器缓存

循环变换技术

循环交换、循环分块（Tiling）、循环展开

循环优化Tiling

数据预取技术

软件预取与硬件预取、编译器自动插入prefetch

内存分配优化

对齐分配、大页内存、NUMA感知分配

内存分配NUMA

自动向量化

SIMD指令集、编译器自动向量化、向量化报告

多线程与内存墙

OpenMP并行、线程亲和性、伪共享问题

多线程伪共享

GPU内存层次

全局内存、共享内存、寄存器、常量内存

GPU内存层次

GPU访存优化

合并访问、bank冲突、 occupancy优化

GPU优化occupancy

深度学习的内存墙

模型参数、激活值、梯度存储

深度学习显存

算子融合技术

Kernel Fusion、计算与访存比优化

算子融合访存比

内存池与复用

显存池、内存复用、碎片整理

内存池复用

混合精度训练

FP16/BF16/INT8、梯度缩放、损失缩放

混合精度FP16

梯度检查点

时间换空间、Checkpoint策略

梯度检查点显存优化

分布式训练内存

数据并行、模型并行、流水线并行

分布式并行策略

ZeRO-1/2/3、参数分片、通信优化

ZeRO参数分片

分块注意力、IO感知算法、硬件利用

AttentionIO感知

稀疏矩阵存储、稀疏算子、结构化稀疏

稀疏结构化

INT8/INT4量化、量化感知训练、动态量化

剪枝与蒸馏

结构化剪枝、非结构化剪枝、知识蒸馏

编译优化框架

MLIR、TVM、XLA、Triton

Ansor、AutoTVM、AutoSchedule

自动调度Ansor

张量编译器

TensorIR、TIR、调度原语

liveness分析、寄存器分配、spill code

寄存器分配spill

数据流分析

reaching definition、use-def链、别名分析

数据流别名分析

循环优化框架

polyhedral模型、依赖分析、调度变换

polyhedral依赖

缓存感知优化

cache line对齐、stride优化、blocking

性能剖析工具

perf、gprof、Valgrind、Intel VTune

性能工具perf

矩阵乘法优化、卷积优化、Transformer推理优化

实战优化案例