VIP20
本课程属于：012-GPU算力集群架构与运维 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU显存分配与数据流深度解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
GPU显存分配与数据流的重要性 · 学习目标 · 课程框架
课程导入GPU
02
GPU架构基础
GPU硬件架构 · 显存层次结构 · 内存带宽与延迟
GPU架构基础
03
显存类型与特性
全局内存 · 共享内存 · 寄存器
显存类型特性
04
显存分配机制
CUDA内存分配API · 内存池 · 显存碎片化
显存分配机制CUDA
05
数据流基础
数据在CPU与GPU间的传输 · PCIe与NVLink · 零拷贝
数据流基础CPU
06
异步数据流
流与事件 · 异步传输 · 重叠计算与传输
异步数据流事件
07
内存访问优化
合并访问 · 内存对齐 · 访问模式对性能的影响
内存访问优化合并访问
08
共享内存优化
共享内存的分配 · bank冲突 · 同步机制
共享内存优化共享内存的分配
09
寄存器与本地内存
寄存器溢出 · 本地内存的使用与优化
寄存器本地内存
10
常量内存与纹理内存
适用场景 · 缓存机制 · 性能对比
常量内存纹理内存
11
显存分配策略
静态分配 · 动态分配 · 内存池设计
显存分配策略静态分配
12
显存碎片化处理
碎片产生原因 · 避免与整理方法
显存碎片化处理碎片产生原因
13
统一内存与托管内存
UM原理 · 性能影响 · 使用场景
统一内存托管内存
14
多GPU数据流
多GPU通信 · 点对点传输 · GPUDirect
GPU数据流
15
数据流同步
同步与异步 · 事件同步 · 栅栏
数据流同步同步
16
内存带宽测试
带宽测试方法 · 影响带宽的因素
内存带宽测试带宽测试方法
17
性能分析工具
NVIDIA Nsight · nvprof · CUDA-MEMCHECK
性能分析工具NVIDIA
18
案例实战
矩阵乘法中的显存分配与数据流优化
案例实战矩阵乘法
19
案例实战
图像处理中的内存访问优化
案例实战图像处理
20
案例实战
深度学习训练中的显存管理
案例实战深度学习训练
21
常见问题
显存不足 · 内存泄漏 · 访问越界
常见问题显存不足
22
常见问题
数据拷贝瓶颈 · 同步开销
常见问题数据拷贝瓶颈
23
常见问题
多线程与多进程下的显存分配
常见问题多线程
24
高级主题
显存分配器实现 · 自定义内存管理
高级主题显存分配器实现
25
高级主题
持久化内核与数据流
高级主题持久化内核
26
高级主题
CUDA Graphs与数据流优化
高级主题CUDA
27
综合提升
设计高效数据流管线
综合提升设计高效数据流管…
28
综合提升
大规模应用中的显存规划
综合提升大规模应用
29
综合提升
性能调优实战与案例分析
综合提升性能调优实战
30
课程总结
核心要点回顾 · 学习路径建议 · 未来展望
课程总结核心要点回顾