01
并发调度基础
GPU架构概览 · SM与CUDA Core · 并发执行模型 · Stream与Event概念
核心概念GPU
02
CUDA Stream深度解析
Stream创建与销毁 · 默认Stream与自定义Stream · 同步机制 · 优先级
Stream同步
03
多Stream并发调度
多Stream并行执行 · 硬件资源竞争 · Grid/Block影响 · Occupancy计算
并发Occupancy
04
显存层次结构
全局内存 · 共享内存 · 寄存器 · L1/L2 Cache · 常量内存 · 纹理内存
层次Cache
05
显存分配与释放
cudaMalloc/cudaFree · cudaMallocManaged · cudaMallocHost · cudaMallocPitch
API分配
06
显存带宽优化
合并访问 · 内存对齐 · Bank Conflict避免 · 共享内存Padding技巧
带宽优化
07
异步操作与流水线
cudaMemcpyAsync · 双缓冲技术 · Kernel Launch Overhead · CUDA Graphs
异步流水线
08
MPS与MIG
多进程服务(MPS)原理 · MPS配置与性能 · 多实例GPU(MIG) · MIG分区策略
MPSMIG
09
动态显存管理
显存池设计 · 预分配策略 · 碎片整理 · 显存泄漏检测
动态池化
10
推理框架中的调度
TensorRT推理引擎 · ONNX Runtime调度 · vLLM连续批处理 · PagedAttention
框架推理
11
Batch推理优化
动态Batch · Continuous Batching · KV Cache管理 · Scheduling Policy
BatchKV Cache
12
显存复用技术
Tensor复用 · 内存共享 · In-place操作 · 显存压缩
复用压缩
13
量化与显存
INT8/FP8量化 · 量化感知训练 · 显存占用计算 · 混合精度推理
量化混合精度
14
稀疏化与剪枝
结构化稀疏 · 非结构化稀疏 · 2:4稀疏模式 · 稀疏矩阵乘法优化
稀疏剪枝
15
FlashAttention
标准Attention显存问题 · FlashAttention原理 · Tiling策略 · 显存节省分析
AttentionTiling
16
PageAttention
vLLM核心机制 · 逻辑页与物理页 · 显存利用率 · 调度算法
vLLM分页
17
Prefix Caching
前缀缓存原理 · Radix Tree实现 · 共享前缀优化 · 显存命中率
前缀Radix Tree
18
Speculative Decoding
推测解码原理 · Draft Model · 显存开销 · 并行验证
推测解码
19
Tensor Parallelism
张量并行原理 · All-Reduce通信 · 显存划分 · 负载均衡
TP通信
20
Pipeline Parallelism
流水线并行 · 微批次调度 · 显存峰值优化 · 1F1B策略
PP1F1B
21
Sequence Parallelism
序列并行 · Ring Attention · 长序列显存优化 · 分布式通信
SPRing
22
Expert Parallelism
MoE架构 · 专家路由 · 显存负载 · 动态专家调度
MoE路由
23
显存Profiling
Nsight Systems使用 · NVIDIA SMI · 显存带宽测试 · 性能瓶颈分析
ProfilingNsight
24
显存泄漏排查
Valgrind · AddressSanitizer · CUDA-MEMCHECK · 自定义Hook
调试泄漏
25
OOM处理策略
显存溢出检测 · Graceful Degradation · 模型卸载 · Swap机制
OOMSwap
26
多卡显存均衡
显存均衡算法 · 任务迁移 · 动态重分配 · 故障恢复
多卡均衡
27
推理服务调度
请求排队 · 优先级调度 · 超时处理 · 负载均衡
服务排队
28
SLA保障
延迟SLA · 吞吐SLA · 抢占式调度 · 资源预留
SLA抢占
29
显存成本优化
显存定价模型 · Spot实例 · 弹性伸缩 · 冷热数据分离
成本Spot
30
前沿趋势
CXL显存扩展 · 近存计算 · 存算一体 · 未来架构展望
前沿CXL