01
显存基础概念
显存是什么 · 显存的作用 · 显存与内存的区别
入门核心
02
GPU架构概览
NVIDIA GPU架构演进 · CUDA核心与显存的关系 · 显存控制器
架构硬件
03
显存类型详解
GDDR6 · HBM2e · HBM3 · HBM3e 技术特性与对比
存储对比
04
显存带宽计算
带宽公式 · 影响带宽的因素 · 实际带宽与理论带宽的差异
公式性能
05
显存容量规划
模型参数与显存的关系 · Batch Size影响 · 序列长度的影响
规划容量
06
PyTorch显存管理
torch.cuda基础API · 显存分配策略 · 缓存机制
PyTorchAPI
07
TensorFlow显存管理
GPU选项配置 · 内存增长模式 · 显存碎片化处理
TensorFlow配置
08
显存分析工具
nvidia-smi详解 · nvtop使用 · Nsight Systems分析
工具调试
09
PyTorch显存调试
torch.cuda.memory_summary · 显存快照 · 内存泄漏检测
调试PyTorch
10
梯度累积技术
原理 · 实现方式 · 与Batch Size的关系 · 适用场景
训练优化
11
混合精度训练
FP16与BF16原理 · AMP自动混合精度 · 损失缩放
精度加速
12
梯度检查点
原理 · 实现方式 · 时间与空间的权衡 · 适用场景
检查点显存
13
模型并行
张量并行原理 · 流水线并行原理 · 1D/2D并行策略
并行分布式
14
数据并行
DDP原理 · FSDP原理 · ZeRO优化器三个阶段
数据并行ZeRO
15
显存卸载技术
CPU卸载 · NVMe卸载 · 卸载策略选择
卸载扩展
16
显存碎片化
内部碎片与外部碎片 · 碎片化原因 · 碎片化解决方案
碎片优化
17
显存池化技术
缓存池设计 · 动态分配策略 · 池化在推理中的应用
池化推理
18
推理显存优化
KV Cache原理 · PageAttention · 连续批处理
推理LLM
19
量化技术
INT8量化 · INT4量化 · 量化对显存的影响
量化压缩
20
稀疏化技术
结构化稀疏 · 非结构化稀疏 · 稀疏矩阵存储
稀疏效率
21
显存压缩
梯度压缩 · 激活值压缩 · 通信压缩
压缩通信
22
多GPU显存均衡
负载均衡策略 · 通信开销分析 · 拓扑感知分配
多GPU均衡
23
显存热迁移
动态显存调整 · 热迁移原理 · 迁移开销控制
热迁移弹性
24
显存虚拟化
GPU虚拟化技术 · 显存隔离 · 显存超分
虚拟化云
25
容器化显存管理
Docker GPU配置 · Kubernetes GPU调度 · 显存QoS
容器K8s
26
显存监控告警
Prometheus采集 · Grafana面板 · 告警规则设计
监控告警
27
显存性能基准测试
带宽测试 · 延迟测试 · 压力测试方法
基准性能
28
显存故障诊断
ECC错误处理 · 显存损坏检测 · 故障恢复策略
故障诊断
29
显存安全
侧信道攻击 · 数据残留 · 安全清理机制
安全隐私
30
未来趋势
CXL互连 · 存算一体 · 近存计算架构展望
前沿架构