VIP20

本课程属于：010-高性能科学计算与并行加速 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU显存管理与数据传输优化

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与显存认知

GPU显存层次结构 · 与主机内存的差异 · 带宽与延迟指标

课程导入显存认知

显存分配机制剖析

CUDA内存分配API（cudaMa… · cudaMallocManaged等… · 分配开销来源

显存分配机制剖析CUDA

数据传输基础与性能度量

PCIe与NVLink带宽特性 · 同步与异步传输API · 传输耗时测量方法

数据传输基础性能度量

页锁定内存与零拷贝技术

页锁定内存分配与注册 · 零拷贝内存映射 · 适用场景与限制

页锁定内存零拷贝技术

流与异步传输重叠

CUDA流创建与使用 · 异步传输与核函数执行重叠 · 多流并发传输

异步传输重叠CUDA

统一内存与迁移优化

统一内存分配与使用 · 按需页迁移机制 · 迁移开销分析

统一内存迁移优化

显存池化与自定义分配器

池化分配器设计（如cudaMallo… · 减少分配释放开销 · 碎片管理

显存池化自定义分配器

多GPU显存管理与点对点传输

多GPU显存分配 · P2P访问启用 · 跨GPU数据传输

GPU显存管理

显存访问模式与合并访问优化

全局内存访问合并 · 共享内存使用 · bank冲突避免

显存访问模式合并访问优化

纹理内存与只读缓存优化

纹理内存特性 · 纹理对象创建与访问 · 只读缓存使用

纹理内存只读缓存优化

常量内存与广播优化

常量内存特性 · 使用限制 · 广播机制

常量内存广播优化

共享内存高级优化

动态共享内存 · 共享内存布局优化 · 双缓冲技术

共享内存高级优化动态共享内存

寄存器与局部内存优化

寄存器压力分析 · 局部内存溢出原因 · 减少寄存器使用的方法

寄存器局部内存优化

显存带宽压榨实战

向量化加载 · 宽指令使用 · 循环展开

显存带宽压榨实战向量化加载

显存延迟隐藏技术

增加 occupancy · 指令级并行 · 软件预取

显存延迟隐藏技术occupancy

CUDA Graph 与传输优化

CUDA Graph 捕获与实例化 · 减少启动开销 · 图内传输与计算节点

显存压缩与数据表示优化

数据压缩技术（如量化 · 稀疏） · 减少显存占用与传输量

显存压缩数据表示优化

显存溢出与OOM处理策略

显存溢出原因分析 · 监控与预警 · 梯度检查点

OOM显存溢出

数据传输与计算重叠高级模式

多流流水线设计 · 双缓冲与三缓冲 · 生产者消费者模式

数据传输计算重叠高级模式

显存性能分析工具实战

Nsight Systems 与 N… · 显存指标解读 · 传输瓶颈定位

显存性能分析工具…Nsight

深度学习训练显存优化

激活值重计算 · 混合精度训练 · 优化器状态分片

深度学习训练显存…激活值重计算

推理场景显存优化

KV缓存管理 · 动态批处理 · 显存复用

推理场景显存优化KV

大规模模型显存管理

参数分片 · 张量并行 · 流水线并行中的显存管理

大规模模型显存管…参数分片

显存与传输的容错与调试

错误检测 · 内存泄漏排查 · 越界访问调试

显存传输的容错

跨平台显存管理对比

不同GPU架构（如NVIDIA · AMD）显存管理差异 · 编程模型对比

跨平台显存管理对…GPU

显存管理在图形渲染中的应用

纹理与缓冲区管理 · 渲染目标复用 · 流式加载

显存管理图形渲染

科学计算中的显存优化

大规模数组传输 · 分块计算 · 异步流水线

科学计算显存优化

实时数据处理中的传输优化

流式数据上传 · 零拷贝与固定内存 · 低延迟传输设计

实时数据处理传输优化

显存与传输优化综合项目

从需求分析到性能调优的全流程 · 涵盖 profiling · 优化策略选择

显存传输优化综合项目

前沿技术与未来趋势

新一代显存技术（HBM） · 互连技术（NVLink · CXL）

前沿技术未来趋势