VIP20

本课程属于：006-吞吐压测 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

并发推理调度与GPU显存池应用

📚 共计 30 章节

什么是并发推理调度？为什么需要GPU显存池？课程目标与学习路径。

GPU架构基础

CUDA核心与SM、显存层次结构（HBM、L2、L1）、内存带宽与延迟。

深度学习推理模型

Transformer架构回顾、推理与训练的区别、推理的瓶颈分析。

Transformer推理

并发推理场景

在线服务（实时）、离线批处理（吞吐）、边缘设备（延迟与功耗）。

显存管理基础

显存分配与释放、内存碎片、显存泄漏检测。

显存池设计原理

预分配策略、池化思想、内存复用机制。

显存池核心数据结构

空闲链表、伙伴系统、Slab分配器。

数据结构算法

显存池实现（一）

基于C++的简单显存池实现（malloc/free封装）。

显存池实现（二）

线程安全与锁优化（互斥锁、读写锁、无锁队列）。

显存池实现（三）

碎片整理与压缩策略。

推理调度基础

同步调度 vs 异步调度、任务队列模型。

并发调度模型

多线程调度、线程池设计、任务窃取算法。

线程池窃取

GPU流（Stream）与并发

CUDA Stream概念、多流并发、Stream优先级。

CUDA事件与同步

事件记录、流间同步、CPU-GPU同步。

推理引擎调度

TensorRT、ONNX Runtime、vLLM的调度机制对比。

动态批处理

Dynamic Batching：原理、实现策略、延迟与吞吐权衡。

批处理动态

连续批处理

Continuous Batching：PagedAttention、KV Cache管理。

显存池与调度结合

显存池如何服务调度器、显存预留与抢占。

显存池性能评估

吞吐量、延迟、显存利用率、碎片率指标。

调度策略优化

FCFS、SJF、优先级调度、公平调度。

显存池与CUDA IPC

跨进程显存共享、NCCL与显存池。

显存池在LLM推理中的应用

KV Cache显存池、Prefix Cache。

显存池在CV模型推理中的应用

特征图复用、中间结果缓存。

显存池与模型量化

INT8/FP8推理的显存节省、量化后显存池适配。

显存池与模型并行

张量并行、流水线并行下的显存池设计。

并行分布式

显存池监控与诊断

NVIDIA-smi、Nsight Systems、自定义监控工具。

显存池容错与恢复

显存错误处理、优雅降级、热升级。

容错高可用

生产环境部署

Kubernetes + GPU Operator、显存池作为DaemonSet。

开源项目分析

CudaMalloc、RMM（RAPIDS Memory Manager）、PyTorch Caching Allocator。

课程总结与未来展望

显存池与调度的发展趋势、异构内存、CXL技术。