VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型推理服务吞吐提升核心策略

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 吞吐量定义与重要性
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · 推理阶段划分
大模型推理基础Transformer
03
吞吐量关键指标
吞吐量 · 延迟 · 首Token延迟
吞吐量关键指标吞吐量
04
性能分析工具
Profiling工具 · 性能瓶颈识别方法
性能分析工具Profiling
05
批处理策略
动态批处理 · 连续批处理 · 微批处理
批处理策略动态批处理
06
KV Cache优化
KV Cache原理 · 显存管理 · 量化与压缩
KVCache
07
模型并行策略
张量并行 · 流水线并行 · 数据并行
模型并行策略张量并行
08
投机解码
投机采样 · 草稿模型 · 验证机制
投机解码投机采样
09
量化技术
权重量化 · 激活量化 · 混合精度
量化技术权重量化
10
算子优化
融合算子 · 内核优化 · CUDA优化
算子优化融合算子
11
显存优化
显存池 · 显存复用 · Offloading
显存优化显存池
12
调度系统
请求调度 · 优先级 · 抢占策略
调度系统请求调度
13
推理引擎
vLLM · TensorRT-LLM · FasterTransformer等
推理引擎vLLM
14
分布式推理
多机多卡 · 通信优化 · 负载均衡
分布式推理多机多卡
15
案例实战
基于vLLM的吞吐优化实践
案例实战vLLM
16
案例实战
基于TensorRT-LLM的优化实…
案例实战TensorRT-LLM
17
常见问题
显存不足 · OOM · 性能抖动
常见问题显存不足
18
常见问题
长序列处理 · 上下文长度限制
常见问题长序列处理
19
常见问题
并发控制 · 服务稳定性
常见问题并发控制
20
性能调优方法论
基准测试 · 调优流程 · 迭代优化
性能调优方法论基准测试
21
高级主题
PagedAttention · Prefix Caching
高级主题PagedAttenti…
22
高级主题
MoE模型推理优化
高级主题MoE
23
高级主题
多模态模型推理优化
高级主题多模态模型推理优…
24
成本与效率
吞吐与成本权衡 · 资源规划
成本效率
25
监控与运维
指标监控 · 日志分析 · 自动扩缩容
监控运维
26
安全与可靠性
容错 · 故障恢复 · 一致性
安全可靠性
27
前沿趋势
新架构 · 新算法 · 新硬件
前沿趋势新架构
28
综合实战
端到端吞吐优化项目
综合实战端到端吞吐优化项…
29
综合提升
设计高吞吐推理系统
综合提升设计高吞吐推理系…
30
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾