VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU批处理吞吐与延迟平衡优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与性能度量
目标=GPU批处理吞吐与延迟的定义 · 关系 · 度量指标（吞吐量
课程导入性能度量
02
GPU硬件执行模型
目标=SM · warp · 线程块
GPU硬件执行模型
03
批处理基础与动态批处理
目标=静态批处理 · 动态批处理 · 连续批处理的概念
批处理基础动态批处理
04
吞吐与延迟的权衡曲线
目标=绘制吞吐-延迟曲线 · 识别拐点 · 饱和区与延迟敏感区
吞吐延迟的权衡曲线
05
CUDA流与并发执行
目标=多流 · 流优先级 · 事件同步
CUDA并发执行
06
内存带宽与数据布局优化
目标=合并访问 · 向量化加载 · 共享内存分块
内存带宽数据布局优化
07
计算密集型批处理优化
目标=指令级并行 · 循环展开 · 寄存器分块
计算密集型批处理…目标=指令级并行
08
延迟隐藏技术
目标=warp调度 · 占用率调节 · 异步拷贝
延迟隐藏技术warp
09
批大小调优实战
目标=在真实GPU上对矩阵乘法或卷积… · 测量吞吐与延迟 · 找到平衡点并分析瓶颈
批大小调优实战GPU
10
推理服务中的连续批处理
目标=请求到达 · 调度 · 批合并
推理服务连续批处理
11
GPU内存池与批处理分配
目标=显存池化 · 重用 · 碎片管理
GPU内存池
12
多GPU批处理与数据并行
目标=数据并行 · 梯度累积 · 批拆分到多卡
GPU批处理
13
流水线并行与批处理
目标=将模型分段到多GPU · 微批处理填充流水线 · 平衡吞吐与流水线气泡导致的延迟
流水线并行批处理
14
张量并行与批处理
目标=层内并行 · 通信开销 · 批大小与并行度的关系
张量并行批处理
15
混合精度与批处理
目标=FP16 · BF16 · INT8量化对吞吐和延迟的影响
混合精度批处理
16
批处理中的同步与异步
目标=同步批处理 · 异步批处理 · CUDA Graph捕获
批处理同步
17
延迟敏感型批处理调度
目标=优先级调度 · 截止时间感知 · 抢占与批合并策略
延迟敏感型批处理…目标=优先级调度
18
吞吐导向的批处理优化
目标=增大批大小 · 提高占用率 · 减少同步
吞吐导向的批处理…目标=增大批大小
19
延迟导向的批处理优化
目标=减小批大小 · 降低排队延迟 · 使用快速路径
延迟导向的批处理…目标=减小批大小
20
自适应批处理与反馈控制
目标=基于负载动态调整批大小 · 批超时 · 并发数
自适应批处理反馈控制
21
性能剖析工具实战
目标=使用Nsight System… · Nsight Compute · nvprof分析批处理内核的吞吐与延…
性能剖析工具实战Nsight
22
批处理中的尾延迟治理
目标=识别长尾请求 · 批内差异 · 资源争用
批处理尾延迟治理
23
真实案例
目标=推荐系统推理批处理 · 平衡高吞吐与低延迟
真实案例目标=推荐系统推…
24
真实案例
目标=大语言模型推理批处理：KV缓存 · 连续批处理 · PagedAttention
真实案例KV
25
真实案例
目标=计算机视觉批处理：图像预处理 · 批推理 · 后处理流水线
真实案例目标=计算机视觉…
26
真实案例
目标=科学计算批处理：粒子模拟 · CFD · 分子动力学中的批处理内核
真实案例目标=科学计算批…
27
批处理与QoS保障
目标=服务等级目标 · 资源配额 · 隔离机制
QoS批处理
28
成本与能效平衡
目标=批处理对功耗 · 利用率 · 成本的影响
成本能效平衡
29
端到端调优项目
目标=给定一个真实GPU应用 · 完成批处理优化 · 提交吞吐-延迟报告并论证平衡决策
端到端调优项目GPU
30
前沿与总结
目标=新硬件特性 · 编译优化 · 自动调优
前沿目标=新硬件特性