VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM 模型推理性能基准测试实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与基准测试基本概念
课程导入学习目标
02
TensorRT-LLM 简介
TensorRT-LLM 的架构 · 特性 · 与其他推理框架的对比
TensorRT-LLM简介
03
环境搭建
安装 TensorRT-LLM · CUDA · cuDNN
环境搭建TensorRT-LLM
04
模型转换与优化
将 HuggingFace 模型转换… · 配置精度（FP16/INT8/INT…
模型转换优化
05
基准测试指标
理解延迟 · 吞吐量 · 首 token 延迟
基准测试指标理解延迟
06
基准测试工具
介绍 TensorRT-LLM 自带…
基准测试工具TensorRT-LLM
07
编写基准测试脚本
使用 Python API 编写自定…
编写基准测试脚本Python
08
单模型基准测试
对 GPT · LLaMA 等模型进行基准测试 · 记录性能数据
单模型基准测试GPT
09
多模型对比测试
对比不同模型大小 · 精度下的性能差异
多模型对比测试对比不同模型大小
10
批处理与并发测试
测试不同 batch size 和并…
批处理并发测试
11
序列长度影响
分析输入/输出序列长度对延迟和吞吐量…
序列长度影响分析输入
12
量化性能评估
对比 FP16 · INT8 · INT4 量化模型的性能与精度损失
量化性能评估FP16
13
动态形状与静态形状
测试动态形状引擎与静态形状引擎的性能…
动态形状静态形状
14
KV Cache 优化
调整 KV Cache 大小 · 观察对长序列推理性能的影响
KVCache
15
内存占用分析
监控 GPU 显存使用 · 优化内存分配
内存占用分析GPU
16
性能调优技巧
使用 CUDA Graph · PagedAttention 等特性…
性能调优技巧CUDA
17
多 GPU 推理
配置张量并行 · 流水线并行 · 测试多卡扩展性
GPU推理
18
与 vLLM 对比
在相同硬件上对比 TensorRT-…
vLLM对比
19
与 FasterTransformer 对比
对比 TensorRT-LLM 与…
FasterTransf…对比
20
真实场景模拟
模拟在线服务负载 · 测试端到端响应时间
真实场景模拟模拟
21
性能瓶颈分析
使用 Nsight Systems…
性能瓶颈分析Nsight
22
常见问题与解决
处理编译错误 · OOM · 精度问题等
常见问题解决
23
基准测试报告撰写
如何整理数据 · 生成图表 · 撰写结论
基准测试报告撰写如何整理数据
24
自动化基准测试
编写脚本实现一键测试并生成报告
自动化基准测试编写脚本实现一键…
25
持续集成中的基准测试
将基准测试集成到 CI/CD 流程
持续集成基准测试
26
案例实战
基于 LLaMA-2-7B 的完整基…
案例实战LLaMA-2-7B
27
案例实战
基于 GPT-3 的基准测试与调优
案例实战GPT-3
28
综合项目
设计并执行一个完整的基准测试方案 · 对比多种配置
综合项目设计并执行一个完…
29
前沿技术
探讨 TensorRT-LLM 的最…
前沿技术TensorRT-LLM
30
课程总结
回顾核心知识点 · 提供进一步学习资源
课程总结回顾核心知识点