VIP20

本课程属于：018-TensorCore AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存优化与吞吐压测实战

📚 共计 30 章节

显存基础与瓶颈分析

显存架构、带宽计算、常见瓶颈定位方法

PyTorch显存管理机制

CUDA缓存分配器、显存碎片化、torch.cuda API详解

梯度检查点技术

原理、实现方式、时间与空间的权衡分析

检查点权衡

混合精度训练

FP16/BF16原理、AMP自动混合精度、损失缩放策略

梯度累积与微批次

梯度累积原理、微批次设计、同步与异步模式

微批次累积

显存卸载技术

CPU Offloading、NVMe Offloading、ZeRO-Offload原理

模型并行策略

张量并行、流水线并行、序列并行原理与实现

并行流水线

ZeRO-1/2/3原理、分片策略、通信开销分析

Flash Attention原理

标准Attention显存问题、FlashAttention算法、分块计算

Attention分块

显存高效激活函数

ReLU系列、GELU近似、激活函数显存对比

激活函数GELU

参数高效微调

LoRA、Adapter、Prefix Tuning显存对比

量化技术基础

INT8/INT4量化原理、PTQ与QAT、显存节省分析

KV Cache原理、共享KV、Multi-Query Attention

显存池化与复用

显存池设计、动态分配策略、碎片整理

吞吐压测方法论

吞吐量定义、延迟与吞吐关系、压测指标设计

压测工具链

PyTorch Profiler、NVIDIA Nsight Systems、DLProf使用

数据加载优化

DataLoader多进程、预取、内存映射文件

DataLoader预取

计算与通信重叠

异步通信、计算通信流水线、allreduce优化

Kernel融合技术

Fused Kernel原理、FlashAttention融合、LayerNorm融合

动态显存管理

动态批处理、弹性显存分配、显存热插拔

分布式训练显存优化

数据并行、模型并行、混合并行显存分析

分布式混合并行

显存监控与可视化

nvidia-smi深度使用、显存曲线绘制、告警机制

监控可视化

大模型推理显存优化

PagedAttention、vLLM原理、显存管理策略

稀疏计算与显存

稀疏注意力、稀疏梯度、结构化稀疏

稀疏结构化

编译优化与显存

TorchScript、TorchDynamo、XLA编译显存影响

编译TorchDynamo

显存安全与容错

OOM恢复、显存泄漏检测、优雅降级策略

多任务显存调度

显存优先级、时间片分配、任务隔离

端到端压测案例

LLM训练压测、推理压测、全链路优化

显存成本分析

显存定价模型、TCO计算、云实例选择策略

前沿趋势与展望

CXL显存扩展、存算一体、显存技术未来方向