VIP8

本课程属于：012-大模型推理部署与GPU优化 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU显存管理与优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

GPU架构基础

GPU vs CPU架构差异、SM与CUDA Core概念、显存层次结构（Global/Shared/Register）、内存带宽与延迟。

架构显存层次

显存分配与释放

cudaMalloc/cudaFree详解、cudaMallocManaged统一内存、cudaHostAlloc页锁定内存、内存池技术。

分配内存池

数据传输优化

cudaMemcpy同步传输、cudaMemcpyAsync异步传输、流(Stream)与并发、零拷贝(Zero-Copy)技术。

共享内存(Shared Memory)优化

Bank Conflict原理与解决、静态与动态分配、Padding技术、同步原语(__syncthreads)。

共享内存Bank Conflict

寄存器(Register)优化

寄存器压力与spilling、launch_bounds限制、占用率(Occupancy)计算、寄存器分配策略。

寄存器Occupancy

全局内存(Global Memory)访问优化

合并访问(Coalesced Access)原理、对齐要求、向量化加载(LDG/STG)、缓存(Cache)利用。

全局内存合并访问

常量内存(Constant Memory)与纹理内存

__constant__使用场景、纹理内存的缓存特性、表面内存(Surface Memory)、只读缓存(__ldg)。

常量内存纹理

统一内存(Unified Memory)深入

UM工作原理、页面迁移机制、cudaMemAdvise优化、cudaMemPrefetchAsync预取。

统一内存预取

内存池(Memory Pool)实战

cudaMemPoolCreate创建池、池的复用策略、碎片管理、多流共享池。

内存池复用

显存泄漏检测

cuda-memcheck工具、compute-sanitizer使用、Valgrind for CUDA、自定义内存跟踪器。

泄漏检测工具

显存带宽测试

bandwidthTest工具、自定义带宽测试Kernel、影响带宽的因素、HBM vs GDDR6对比。

NCCL与多GPU通信

NCCL初始化、AllReduce/Broadcast/ReduceScatter、Ring算法与Tree算法、显存与通信重叠。

CUDA Graphs与显存优化

Graph捕获与重放、内存操作节点(Memcpy/Memset)、Graph与Stream对比、动态图优化。

CUDA Graphs优化

PyTorch显存管理

torch.cuda API、缓存分配器机制、torch.cuda.empty_cache、max_memory_allocated监控。

PyTorch缓存分配器

TensorFlow显存管理

GPU内存增长配置、tf.config.experimental.set_memory_growth、显存碎片化处理。

TensorFlow内存增长

混合精度训练(AMP)显存优化

FP16/BF16原理、GradScaler使用、Master Weights策略、显存节省量化分析。

混合精度AMP

梯度检查点(Gradient Checkpointing)

原理与实现、Checkpoint与Recompute权衡、torch.utils.checkpoint、应用场景。

梯度检查点显存节省

模型并行与显存分片

Tensor Parallelism原理、Pipeline Parallelism、ZeRO Stage 1/2/3、FSDP实现。

模型并行ZeRO

显存卸载(Offloading)技术

CPU Offloading原理、NVMe Offloading、InfiniBand与RDMA、卸载策略选择。

卸载Offloading

显存碎片化治理

碎片产生原因、cudaMallocAsync与碎片、自定义分配器、碎片整理策略。

碎片化分配器

显存监控与Profiling

nvidia-smi详解、Nsight Systems内存视图、Nsight Compute内存分析、自定义监控脚本。

监控Profiling

显存错误处理

ECC错误检测与纠正、Uncorrectable Error处理、显存压力测试、RAS特性。

ECC错误处理

MPS(Multi-Process Service)显存共享

MPS原理、显存共享机制、性能隔离、MPS vs MIG对比。

MPS显存共享

MIG(Multi-Instance GPU)显存隔离

MIG分区原理、显存QoS保证、分区策略、A100/H100 MIG实践。

显存压缩技术

Delta压缩、稀疏性利用、量化压缩、无损压缩算法在显存中的应用。

显存虚拟化与远程显存

GPU虚拟化原理、vGPU显存管理、远程显存访问、NVLink/NVSwitch扩展。

虚拟化NVLink

大模型显存优化实战

LLM显存分析、KV Cache优化、PagedAttention原理、vLLM显存管理。

大模型KV Cache

推理场景显存优化

TensorRT显存管理、动态形状与显存、INT8/INT4量化、推理引擎缓存。

显存安全与隔离

多租户显存隔离、cgroup控制、显存配额管理、安全审计。

未来趋势与总结

CXL内存扩展、近内存计算、存算一体架构、显存技术演进路线。