VIP8

本课程属于：028-GPU吞吐压测与性能基线 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

吞吐压测中的显存复用与调度

📚 共计 30 章节

显存基础与压测概述

GPU显存架构（HBM/GDDR）、显存带宽与延迟、吞吐压测的目标与指标（QPS/TPS）、显存瓶颈识别

显存分配与释放机制

cudaMalloc/cudaFree原理、显存池（Memory Pool）概念、系统级分配器 vs 自定义分配器、显存碎片化问题

分配器碎片

显存复用策略（上）

对象池模式（Object Pool）、预分配与懒分配、Tensor复用技术（in-place操作）、显存生命周期管理

复用对象池

显存复用策略（下）

显存共享（Shared Memory）、跨进程显存复用（IPC）、显存压缩技术（FP16/INT8）、显存卸载（Offloading）

显存调度算法

最佳适应（Best Fit）、最差适应（Worst Fit）、首次适应（First Fit）、伙伴系统（Buddy System）、优先级调度

CUDA Stream与并发调度

Stream概念与创建、同步机制、多Stream并发执行、优先级与调度、Stream回调

CUDA Graph与显存优化

Graph捕获与重放、显存复用结合、内存管理、性能分析

显存带宽优化

内存合并访问（Coalescing）、共享内存使用、Bank Conflict避免、寄存器溢出处理

带宽共享内存

显存延迟隐藏

指令级并行（ILP）、线程级并行（TLP）、Warp调度机制、Occupancy与延迟隐藏

显存性能分析工具

nvidia-smi详解、Nsight Systems/Compute使用、Profiling关键指标解读

PyTorch显存管理

torch.cuda API、缓存分配器（Caching Allocator）、显存统计与监控、泄漏检测

TensorFlow显存管理

GPUOptions配置、显存增长策略、手动释放、tf.config.experimental API

TensorFlow配置

大模型推理显存优化

KV Cache复用、PageAttention原理、Continuous Batching、显存调度在推理中的应用

大模型训练显存优化

ZeRO系列（ZeRO-1/2/3）、Activation Checkpointing、混合精度训练（AMP）、梯度累积

显存碎片化治理

碎片化产生原因、检测方法、碎片整理（Defragmentation）、避免策略

显存池化技术

固定大小池（Fixed-size Pool）、分级池（Tiered Pool）、线程安全池设计、性能对比

池化线程安全

显存分配器实现

自定义分配器设计原则、接口定义、性能测试、与框架集成

分配器实现

显存调度器设计

调度器架构设计、策略可插拔、与执行引擎交互、性能评估

调度器架构

多任务显存调度

多模型并发推理、显存隔离与共享、优先级调度策略、QoS保障机制

显存与CPU内存协同

统一内存（Unified Memory）、显存与CPU内存交换、异步数据传输、Pinned Memory

协同统一内存

显存带宽压测方法

带宽测试工具（bandwidthTest）、自定义带宽压测、带宽与计算重叠、瓶颈定位

显存容量压测方法

容量极限测试、OOM处理策略、显存动态调整、容量规划方法

显存延迟压测方法

延迟测试工具、延迟分布分析、延迟抖动处理、延迟与吞吐权衡

显存错误处理

ECC内存与错误检测、显存错误恢复机制、错误注入测试、生产环境处理

显存虚拟化技术

GPU虚拟化（vGPU）、MIG（Multi-Instance GPU）、显存分区与隔离、虚拟化调度

显存监控与告警

实时显存监控方案、使用趋势分析、异常告警、监控系统集成

显存成本优化

显存定价模型、利用率提升、降级策略（精度/容量）、成本与性能平衡

显存安全与隔离

显存数据安全、隔离机制、侧信道攻击防护、安全合规要求

显存调度案例分析

典型业务场景分析、调度策略选择、优化效果对比、经验总结

显存调度未来趋势

新硬件架构（HBM3/CXL）、AI驱动调度、显存与计算融合、绿色计算与显存优化