01
显存池基础
什么是显存池 · 为什么需要显存池 · 核心设计目标
概念入门
02
CUDA内存架构
全局内存 · 共享内存 · 寄存器 · 常量/纹理内存
架构GPU
03
显存分配与释放
cudaMalloc/cudaFree底层 · 碎片化分析
机制性能
04
显存池核心设计
预分配策略 · Buddy System · Slab分配器
算法设计
05
显存池数据结构
空闲链表 · 红黑树 · 哈希表应用
数据结构
06
显存池线程安全
互斥锁 · 读写锁 · 无锁队列实现
并发安全
07
显存池性能基准
吞吐量 · 延迟 · 碎片率评估
基准测试
08
算子优化基础
计算强度 · 访存带宽 · Roofline模型
理论模型
09
CUDA Kernel优化
Grid-Block-Thread · Warp调度 · Occupancy
Kernel调优
10
共享内存优化
Bank Conflict · Padding · 动态分配
共享内存
11
全局内存合并访问
对齐要求 · 连续访问 · SoA vs AoS
访存模式
12
算子融合技术
Kernel Fusion · Fused Softmax/LayerNorm
融合优化
13
显存池与算子结合 · Transformer
显存池在Transformer推理中的实战
LLM推理
14
显存池与算子结合 · CNN
显存池在CNN训练中的实战
CNN训练
15
显存池与算子结合 · GNN
显存池在GNN推理中的实战
GNN图网络
16
显存池与算子结合 · 推荐系统
显存池在推荐系统模型中的实战
推荐CTR
17
显存池与算子结合 · LLM推理
显存池在LLM推理中的实战
大模型推理
18
显存池与算子结合 · Diffusion
显存池在Diffusion模型推理中的实战
扩散模型
19
显存池与算子结合 · MoE
显存池在MoE模型推理中的实战
MoE稀疏
20
显存池与算子结合 · 视频理解
显存池在视频理解模型中的实战
视频多模态
21
显存池与算子结合 · 语音识别
显存池在语音识别模型中的实战
语音ASR
22
显存池与算子结合 · 强化学习
显存池在强化学习模型中的实战
RL决策
23
显存池与算子结合 · 联邦学习
显存池在联邦学习场景中的实战
联邦隐私
24
显存池与算子结合 · 边缘设备
显存池在边缘设备推理中的实战
边缘端侧
25
显存池与算子结合 · 分布式训练
显存池在分布式训练中的实战
分布式训练
26
显存池与算子结合 · 混合精度
显存池在混合精度训练中的实战
AMP精度
27
显存池与算子结合 · 模型并行
显存池在模型并行中的实战
模型并行
28
显存池与算子结合 · 流水线并行
显存池在流水线并行中的实战
流水线
29
显存池与算子结合 · 张量并行
显存池在张量并行中的实战
张量并行
30
显存池与算子结合 · 序列并行
显存池在序列并行中的实战
序列并行长序列