VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM与vLLM性能对比实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与GPU资源要求
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache原理
大模型推理基础Transformer
03
推理性能指标
延迟 · 吞吐量 · 首token延迟
推理性能指标延迟
04
主流推理框架概览
TensorRT-LLM · vLLM · FasterTransformer
主流推理框架概览TensorRT-LLM
05
TensorRT-LLM核心概念
模型编译 · 引擎构建 · 量化
TensorRT-LLM核心概念
06
vLLM核心概念
PagedAttention · Continuous Batchin… · 动态批处理
vLLM核心概念
07
环境搭建
安装TensorRT-LLM与vLL… · 配置CUDA · cuDNN
环境搭建TensorRT-LLM
08
模型准备
下载LLaMA · GPT等模型 · 转换格式（如HF到TRT-LLM）
模型准备LLaMA
09
TensorRT-LLM实战
构建引擎 · 运行推理 · 设置批处理参数
TensorRT-LLM构建引擎
10
vLLM实战
启动服务 · 发送请求 · 调整调度参数
vLLM启动服务
11
性能测试方法
使用wrk · hey · 自定义脚本进行压测
性能测试方法wrk
12
基准测试工具
使用官方benchmark脚本 · Perf等工具
基准测试工具benchmark
13
单模型性能对比
在相同硬件和模型下对比延迟和吞吐
单模型性能对比相同硬件
14
批处理性能对比
不同batch size下的性能表现
批处理性能对比batch
15
并发性能对比
不同并发请求下的吞吐和延迟变化
并发性能对比不同并发请求下的…
16
长序列性能对比
处理长输入输出时的性能差异
长序列性能对比处理长输入输出时…
17
量化对比
FP16 · INT8 · INT4量化对性能和精度的影响
量化对比FP16
18
显存占用对比
分析两种框架的显存使用情况
显存占用对比分析两种框架的显…
19
动态形状处理
对比对可变长度输入的支持和性能
动态形状处理对比对可变长度输…
20
高级特性
TensorRT-LLM的infli…
高级特性TensorRT-LLM
21
优化技巧
调整max_batch_size · max_seq_len · gpu_memory_utiliza…
优化技巧max
22
多GPU部署
张量并行 · 流水线并行在两种框架中的实现
GPU部署
23
生产环境部署
使用Docker · Kubernetes部署推理服务
生产环境部署Docker
24
监控与日志
收集性能指标 · 日志分析 · 故障排查
监控日志
25
常见问题与解决方案
OOM · 精度下降 · 服务不稳定等
常见问题解决方案
26
案例实战
部署LLaMA-7B并对比性能
案例实战LLaMA-7B
27
案例实战
部署GPT-J-6B并对比性能
案例实战GPT-J-6B
28
综合对比分析
总结两种框架的优缺点 · 适用场景
综合对比分析总结两种框架的优…
29
性能调优实战
针对特定模型进行调优 · 达到最优性能
性能调优实战针对特定模型进行…
30
课程总结与展望
回顾关键点 · 探讨未来趋势 · 推荐学习资源
课程总结回顾关键点