VIP19
本课程属于：026-vLLM吞吐优化实战指南 AI与大模型 · 共 19 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

vLLM与TensorRT吞吐调优对比与选择

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 吞吐调优的重要性
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache原理
大模型推理基础Transformer
03
吞吐量关键指标
吞吐量 · 延迟 · 首token延迟
吞吐量关键指标吞吐量
04
vLLM核心机制
PagedAttention · Continuous Batchin… · 动态批处理
vLLM核心机制
05
TensorRT核心特性
TensorRT-LLM · 图优化 · 层融合
TensorRT核心特性
06
vLLM部署与配置
安装 · 模型加载 · 基本推理流程
vLLM部署
07
TensorRT-LLM部署与配置
模型转换 · 构建引擎 · 推理流程
TensorRT-LLM部署
08
吞吐调优方法论
批处理大小 · 并发数 · 内存管理
吞吐调优方法论批处理大小
09
vLLM吞吐调优实践
调整max_num_seqs · max_num_batched_to…
vLLM吞吐调优实践
10
TensorRT吞吐调优实践
优化引擎构建参数 · 选择batch size · 使用动态形状
TensorRT吞吐调优实践
11
对比分析
vLLM与TensorRT在吞吐性能…
对比分析vLLM
12
案例实战
使用公开模型（如LLaMA）进行吞吐…
案例实战LLaMA
13
常见问题与解决方案
OOM · 显存不足 · 批处理效率低下等
常见问题解决方案
14
高级调优技巧
量化 · 投机解码 · 并行策略（TP/PP）
高级调优技巧量化
15
综合项目
构建一个高吞吐推理服务并评估性能
综合项目构建一个高吞吐推…
16
课程总结
回顾关键点 · 选择建议 · 未来趋势
课程总结回顾关键点
17
扩展阅读
相关论文 · 文档 · 社区资源
扩展阅读相关论文
18
实践作业
配置vLLM并测量不同参数下的吞吐量
实践作业vLLM
19
实践作业
使用TensorRT-LLM构建引擎…
实践作业TensorRT-LLM
20
实践作业
对比两种框架在相同硬件上的性能差异
实践作业对比两种框架
21
案例分析
生产环境中的吞吐瓶颈与优化实例
案例分析生产环境
22
性能分析工具
使用nsight · profiler等定位瓶颈
性能分析工具nsight
23
内存优化
KV Cache管理 · 显存复用 · 量化内存影响
内存优化KV
24
调度策略
连续批处理与静态批处理的对比
调度策略连续批处理
25
模型并行
张量并行与流水线并行的吞吐影响
模型并行张量并行
26
动态形状处理
vLLM与TensorRT对动态输入…
动态形状处理vLLM
27
量化技术
INT8/FP8量化对吞吐的提升与精…
量化技术INT8/FP8
28
推理服务架构
结合vLLM或TensorRT构建高…
推理服务架构vLLM
29
成本效益分析
吞吐与硬件成本 · 能耗的权衡
成本效益分析吞吐
30
综合评估与选型指南
根据场景选择vLLM或TensorR…
综合评估选型指南