VIP8
本课程属于：022-TensorRT-LLM推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM 流式推理实现与优化实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与基本概念
课程导入学习目标
02
TensorRT-LLM 概述
TensorRT-LLM 的架构 · 特性 · 与其他推理框架的对比
TensorRT-LLM的架构
03
环境搭建
安装 TensorRT-LLM · 依赖项配置 · 验证安装
环境搭建TensorRT-LLM
04
模型转换与优化
将 PyTorch 模型转换为 Te… · 使用模型优化工具
模型转换优化
05
流式推理基础
流式推理的概念 · 应用场景 · 与传统批处理的区别
流式推理基础流式推理的概念
06
TensorRT-LLM 流式 API
了解流式 API 的接口 · 参数和返回值
TensorRT-LLMAPI
07
实现第一个流式推理
编写简单的流式生成代码 · 实现 逐个输出
实现第一个流式推…编写简单的流式生…
08
流式推理的并发处理
处理多个并发请求 · 管理会话状态
流式推理的并发处…处理多个并发请求
09
性能调优基础
影响流式推理性能的因素 · 如批大小 · 序列长度
性能调优基础影响流式推理性能…
10
内存管理优化
KV Cache 的分配与释放 · 减少内存碎片
内存管理优化KV
11
模型并行与张量并行
使用多 GPU 加速流式推理 · 配置并行策略
模型并行张量并行
12
动态形状处理
处理变长输入和输出 · 优化动态形状下的性能
动态形状处理处理变长输入
13
流式推理的延迟优化
减少首 延迟和 toke…
流式推理的延迟优…
14
吞吐量优化
提高每秒生成的 数 · 平衡延迟与吞吐
吞吐量优化
15
量化技术
使用 INT8/FP8 量化减小模型… · 提升推理速度
量化技术INT8/FP8
16
注意力机制优化
使用 FlashAttention…
注意力机制优化FlashAttenti…
17
采样与生成策略
温度 · top-k · top-p 等参数对流式输出的影响
采样生成策略
18
流式推理中的停止条件
处理停止 · 最大长度 · 超时等
流式推理停止条件
19
错误处理与调试
常见错误 · 日志分析 · 调试技巧
错误处理调试
20
案例实战
实现一个聊天机器人流式回复系统
案例实战实现一个聊天机器…
21
案例实战
实现一个文本摘要流式生成服务
案例实战实现一个文本摘要…
22
案例实战
实现一个代码生成流式工具
案例实战实现一个代码生成…
23
与 Web 框架集成
将流式推理集成到 FastAPI/F… · 实现 SSE 或 WebSocket
Web框架集成
24
部署与容器化
使用 Docker 部署流式推理服务 · 配置 GPU 环境
部署容器化
25
性能监控与基准测试
使用工具监控 GPU 利用率 · 延迟 · 吞吐
性能监控基准测试
26
常见问题与解决方案
流式推理中的常见问题 · 如内存溢出 · 速度慢
常见问题解决方案
27
高级优化技巧
使用 CUDA Graphs · 自定义 kernel 等提升性能
高级优化技巧CUDA
28
多模型管理与动态加载
在服务中管理多个模型 · 动态加载和卸载
多模型管理动态加载
29
安全与稳定性
处理恶意输入 · 防止资源耗尽 · 保证服务稳定性
安全稳定性
30
综合实战与项目总结
构建一个完整的流式推理应用 · 总结课程要点 · 展望未来方向
综合实战项目总结