01
显存基础与压测背景
GPU显存架构简介 · 显存带宽与容量 · 压测场景下的显存瓶颈分析
基础架构
02
显存监控工具
nvidia-smi详解 · dcgmi工具 · pyNVML库编程 · 自定义监控脚本
监控工具
03
PyTorch显存管理
torch.cuda机制 · 张量存储与释放 · 梯度累积 · torch.no_grad()
PyTorch显存
04
模型加载优化
模型并行 · 张量/流水线并行 · 混合精度(AMP) · 梯度检查点
并行AMP
05
数据加载与预处理
DataLoader优化 · pin_memory · prefetch_factor · 异步加载
数据IO
06
推理服务优化
动态批处理 · 量化INT8/FP16 · TensorRT · ONNX Runtime
推理量化
07
显存碎片化处理
CUDA内存池 · 缓存分配器 · 碎片整理 · PyTorch缓存清理
碎片内存池
08
多进程与多卡优化
DistributedDataParallel · 梯度压缩 · 通信优化 · 显存负载均衡
多卡DDP
09
高级显存技术
CPU Offload · ZeRO优化器 · FlashAttention · PagedAttention
OffloadZeRO
10
压测工具与框架
Locust · wrk/gRPC · 自定义脚本 · 性能指标采集
压测框架
11
显存泄漏排查
泄漏检测工具 · valgrind/cuda-memcheck · PyTorch快照 · 修复案例
调试泄漏
12
容器化与资源限制
Docker GPU限制 · K8s GPU调度 · cgroup显存控制 · 资源隔离
容器K8s
13
显存与性能权衡
Batch Size调优 · 序列长度影响 · 显存-吞吐量曲线 · 成本效益
调优权衡
14
大语言模型(LLM)压测
KV Cache优化 · Continuous Batching · Prefix Caching · 显存估算
LLMKV
15
视觉模型压测
多尺度输入 · 特征图优化 · 视频流处理 · 实时性保障
CV视频
16
推荐系统压测
Embedding压缩 · 特征交叉 · 模型分片 · 在线学习显存
推荐Embedding
17
图神经网络压测
邻接矩阵优化 · 采样策略 · 显存复用 · 分布式图计算
GNN图
18
强化学习压测
经验回放池 · 环境并行 · 模型更新 · 显存回收
RL回放
19
多模态模型压测
模态对齐显存 · 特征融合 · 跨模态注意力 · 调度策略
多模态融合
20
AIGC模型压测
扩散模型显存 · 自回归优化 · 缓存机制 · 预分配
AIGC扩散
21
显存异常处理
OOM恢复 · 优雅降级 · 自动扩缩容 · 熔断机制
容错OOM
22
压测报告生成
指标可视化 · 显存趋势图 · 瓶颈分析 · 优化建议
报告可视化
23
自动化压测平台
CI/CD集成 · 定时压测 · 告警规则 · 回归测试
自动化CI
24
显存成本优化
Spot实例 · 显存超分 · 冷热分离 · 成本模型
成本Spot
25
前沿显存技术
CXL内存扩展 · HBM3 · 存算一体 · 近存计算
前沿CXL
26
压测安全与合规
数据脱敏 · 模型安全 · 访问控制 · 审计日志
安全合规
27
案例实战1：BERT压测优化
从OOM到稳定服务 · 优化前后对比 · 显存治理
BERT案例
28
案例实战2：Stable Diffusion
显存优化 · 多用户并发 · 显存复用策略
SD并发
29
案例实战3：推荐系统实时推理
Embedding压缩 · 毫秒级响应 · 显存优化
推荐实时
30
总结与展望
显存优化方法论 · 未来趋势 · 学习路径 · 社区资源
总结路径