首页
›
AI算力与GPU工程
›
026-CUDA内存拷贝
›
《CUDA内存拷贝与端到端吞吐优化》
VIP20
本课程属于:026-CUDA内存拷贝
AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
吞吐优化 · 从内存拷贝入手
📚 共计 30 章节
01
内存拷贝的代价
为什么内存拷贝是性能杀手?CPU缓存与内存带宽的博弈。
缓存
带宽
02
零拷贝技术原理
mmap、sendfile、splice 系统调用详解。
mmap
sendfile
03
用户态与内核态切换
上下文切换对吞吐的影响。
上下文
内核
04
DMA与PIO
硬件如何帮我们搬数据。
DMA
PIO
05
缓冲区设计
环形缓冲区、双缓冲、内存池。
环形缓冲
内存池
06
SIMD指令优化
SSE/AVX 加速内存拷贝。
SIMD
AVX
07
内存对齐
不对齐的后果与对齐策略。
对齐
性能
08
大页内存
TLB缺失与HugePages。
HugePages
TLB
09
NUMA架构
本地内存与远端内存的延迟差异。
NUMA
延迟
10
Cache Line伪共享
多线程下的隐形杀手。
伪共享
多线程
11
写时复制
Copy-on-Write 的妙用。
COW
写时复制
12
内存映射文件
mmap 实战与性能对比。
mmap
文件映射
13
网络协议栈中的拷贝
从recv到用户空间的路径。
协议栈
recv
14
DPDK
绕过内核的网络数据面优化。
DPDK
用户态
15
RDMA
远程直接内存访问技术。
RDMA
远程内存
16
GPU内存拷贝
CPU与GPU之间的数据传输瓶颈。
GPU
PCIe
17
异步拷贝与重叠
使用异步IO隐藏拷贝延迟。
异步
重叠
18
内存拷贝的Benchmark
如何正确测量拷贝性能。
Benchmark
测量
19
编译器优化
-O3、memcpy内建函数与循环展开。
编译器
-O3
20
内存屏障
乱序执行对拷贝一致性的影响。
屏障
乱序
21
非临时存储
NT stores 与 Write-Combining。
NT stores
WC
22
硬件加速:I/OAT & QAT
Intel I/OAT 与 QAT。
I/OAT
QAT
23
文件系统缓存
Page Cache 的读写路径优化。
Page Cache
文件系统
24
序列化与反序列化
避免隐式内存拷贝。
序列化
零拷贝
25
共享内存
进程间通信中的零拷贝方案。
共享内存
IPC
26
内存拷贝与垃圾回收
GC对吞吐的影响。
GC
吞吐
27
Rust所有权与零拷贝
Rust中的所有权与零拷贝抽象。
Rust
所有权
28
Go slice/string零拷贝
Go语言中的slice与string的零拷贝转换。
Go
slice
29
实际案例:100Gbps网卡
从100Gbps网卡看内存拷贝优化。
100G
案例
30
总结与展望
未来内存拷贝技术的发展趋势。
趋势
总结
所属VIP或分类
同VIP:AI推理部署吞吐性能优化实战
同VIP:AI推理部署显存规划与优化实战
同VIP:AI服务压测显存瓶颈诊断与优化