VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM 动态批处理调优指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 动态批处理在LLM推理中的重要性
课程导入学习目标
02
TensorRT-LLM 基础
TensorRT-LLM 架构 · 核心组件 · 推理流程概述
TensorRT-LLM架构
03
动态批处理概念
动态批处理定义 · 与静态批处理的区别 · 优势与挑战
动态批处理概念动态批处理定义
04
动态批处理工作原理
请求调度 · 批处理窗口 · 内存管理机制
动态批处理工作原…请求调度
05
环境搭建与配置
安装 TensorRT-LLM · 依赖项 · 硬件要求
环境搭建配置
06
模型转换与优化
将模型转换为 TensorRT 引擎 · 精度选择 · 层融合技术
模型转换优化
07
动态批处理参数解析
max_batch_size · max_seq_len · beam_width 等关键参数
动态批处理参数解…max
08
调度策略
连续批处理 · 迭代级调度 · 抢占策略
调度策略连续批处理
09
内存优化
KV Cache 管理 · 显存池化 · 内存复用技术
内存优化KV
10
性能指标与基准测试
吞吐量 · 延迟 · GPU 利用率
性能指标基准测试
11
性能分析工具
使用 nsys · ncu · TensorRT-LLM 内置分析工…
性能分析工具nsys
12
调优流程
从基线到优化的系统化方法
调优流程从基线到优化的系…
13
案例实战
单模型动态批处理调优（如 GPT-3…
案例实战GPT-3
14
案例实战
多模型混合推理的动态批处理
案例实战多模型混合推理的…
15
案例实战
长序列场景下的动态批处理优化
案例实战长序列场景下的动…
16
常见问题
批处理大小选择 · 内存不足 · 延迟抖动
常见问题批处理大小选择
17
常见问题
调度延迟 · 吞吐瓶颈 · 多请求冲突
常见问题调度延迟
18
高级技巧
动态批处理与投机解码结合
高级技巧动态批处理
19
高级技巧
动态批处理与量化（INT8/FP8）…
高级技巧INT8/FP8
20
高级技巧
动态批处理与并行策略（TP/PP）结…
高级技巧TP/PP
21
动态批处理在服务框架中的集成
与 Triton · vLLM 等对比
动态批处理服务框架
22
动态批处理调优的自动化
自动搜索最佳参数
动态批处理调优的…自动搜索最佳参数
23
动态批处理的可扩展性
多 GPU 多节点部署
动态批处理的可扩…GPU
24
动态批处理与流式输出
处理流式请求的优化
动态批处理流式输出
25
动态批处理与优先级控制
实现 QoS
动态批处理优先级控制
26
动态批处理与负载均衡
动态调整批处理大小
动态批处理负载均衡
27
动态批处理与容错
故障恢复与请求重试
动态批处理容错
28
综合实战
构建一个高性能推理服务并调优
综合实战构建一个高性能推…
29
性能对比
动态批处理 vs 静态批处理 vs…
性能对比vs
30
课程总结
关键要点回顾 · 最佳实践 · 未来趋势
课程总结关键要点回顾