VIP20

本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型部署动态批处理优化指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程结构

课程导入学习目标

大模型推理基础

Transformer架构 · 自回归生成 · KV Cache

大模型推理基础Transformer

静态批处理与动态批处理

静态批处理的原理与局限 · 动态批处理的核心思想 · 对比分析

静态批处理动态批处理

动态批处理核心概念

请求队列 · 批大小 · 调度窗口

动态批处理核心概…请求队列

连续批处理（Continuous Batching）

原理 · 与经典批处理的区别 · 在vLLM等系统中的应用

ContinuousBatching

动态批处理调度策略

贪心调度 · 最早截止时间优先 · 最长等待时间优先

动态批处理调度策…贪心调度

请求级调度与Token级调度

请求级批处理 · Token级抢占 · 迭代级调度

Token请求级调度

批处理窗口与延迟控制

动态调整批大小 · 等待时间阈值 · 最大批大小限制

批处理窗口延迟控制

内存管理与KV Cache优化

KV Cache动态分配 · 分页KV Cache · 内存池

动态批处理中的并发控制

并发请求数 · 线程/进程模型 · 异步IO

动态批处理并发控制

批处理与模型并行

张量并行 · 流水线并行 · 数据并行与动态批处理的结合

批处理模型并行

动态批处理性能指标

吞吐量 · 延迟（P50/P95/P99） · GPU利用率

动态批处理性能指…吞吐量

主流推理框架中的动态批处理

vLLM · TensorRT-LLM · FasterTransformer

主流推理框架动态批处理

vLLM动态批处理深入

PagedAttention · Continuous Batchin… · 调度器设计

vLLM动态批处理深入

TensorRT-LLM动态批处理

Inflight Batching · KV Cache管理 · 多流调度

TensorRT-LLM动态批处理

动态批处理优化方法

请求合并 · 优先级队列 · 预测性调度

动态批处理优化方…请求合并

基于强化学习的动态批处理

RL调度器设计 · 奖励函数 · 状态与动作空间

基于强化学习的动…RL

动态批处理与量化/剪枝结合

量化模型下的批处理特性 · 混合精度批处理 · 稀疏化对批处理的影响

动态批处理量化

动态批处理在长文本场景

长序列处理 · 截断策略 · 分块批处理

动态批处理长文本场景

动态批处理在多模型服务

多模型复用 · 模型路由 · 批处理隔离

动态批处理多模型服务

动态批处理在边缘/端侧部署

资源受限 · 低延迟要求 · 轻量级调度

动态批处理边缘

动态批处理性能测试与基准

基准测试工具（如LLMPerf） · 负载生成 · 指标采集

动态批处理性能测…基准

动态批处理调优实战

基于vLLM的调优案例 · 参数网格搜索 · 监控与告警

动态批处理调优实…vLLM

动态批处理故障排查

常见问题（如OOM · 延迟抖动 · 吞吐下降）

动态批处理故障排…OOM

动态批处理与SLA管理

定义SLA · 优先级保障 · 超时处理

SLA动态批处理

动态批处理成本优化

GPU成本 · 批处理效率与成本关系 · 弹性伸缩

动态批处理成本优…GPU

动态批处理安全与稳定性

请求隔离 · 异常请求处理 · 过载保护

动态批处理安全稳定性

构建高吞吐LLM服务：需求分析 · 架构设计 · 动态批处理实现

综合案例LLM

前沿趋势与研究方向

动态批处理与推测解码 · 投机采样 · 分布式调度

前沿趋势研究方向

课程总结与项目实战

核心知识回顾 · 最佳实践总结 · 学员项目（实现一个动态批处理调度器）

课程总结项目实战