VIP8
本课程属于：022-TensorRT-LLM推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM大模型推理加速实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 大模型推理加速的背景与挑战
课程导入学习目标
02
环境搭建
安装TensorRT-LLM · 配置GPU驱动与CUDA · 验证安装
环境搭建TensorRT-LLM
03
Transformer架构基础
注意力机制 · 层归一化 · 前馈网络等核心组件
Transformer架构基础
04
大模型推理原理
自回归生成 · KV缓存 · 束搜索等基本概念
大模型推理原理自回归生成
05
TensorRT-LLM概述
核心特性 · 与其他推理框架的对比 · 适用场景
TensorRT-LLM核心特性
06
模型转换与优化
将PyTorch模型转换为Tenso…
模型转换优化
07
量化基础
INT8/FP8量化原理 · 校准方法 · 精度与性能权衡
量化基础INT8/FP8
08
TensorRT-LLM量化实践
使用TensorRT-LLM进行模型…
TensorRT-LLM量化实践
09
内存优化
KV缓存管理 · 显存优化 · 批处理策略
内存优化KV
10
推理优化技术
算子融合 · 图优化 · 内核自动调优
推理优化技术算子融合
11
多GPU与多节点推理
张量并行 · 流水线并行 · 数据并行
GPU多节点推理
12
动态形状处理
处理可变输入长度 · 动态批处理
动态形状处理处理可变输入长度
13
Python API实战
使用TensorRT-LLM Pyt…
PythonAPI
14
C++ API实战
使用C++ API实现高性能推理
C++API
15
模型服务化
使用TensorRT-LLM部署RE…
模型服务化TensorRT-LLM
16
性能基准测试
评估吞吐量 · 延迟 · 显存占用等指标
性能基准测试评估吞吐量
17
常见问题与调试
解决精度损失 · 性能瓶颈 · 内存溢出等问题
常见问题调试
18
案例实战
使用TensorRT-LLM加速GP…
案例实战TensorRT-LLM
19
案例实战
使用TensorRT-LLM加速LL…
案例实战TensorRT-LLM
20
案例实战
使用TensorRT-LLM加速Ch…
案例实战TensorRT-LLM
21
案例实战
使用TensorRT-LLM加速多模…
案例实战TensorRT-LLM
22
高级优化
使用TensorRT-LLM的C++…
高级优化TensorRT-LLM
23
高级优化
使用TensorRT-LLM的图优化…
高级优化TensorRT-LLM
24
高级优化
使用TensorRT-LLM的稀疏化…
高级优化TensorRT-LLM
25
与深度学习框架集成
与PyTorch · HuggingFace Transf…
深度学习框架集成PyTorch
26
与推理引擎集成
与vLLM · FasterTransformer对…
推理引擎集成vLLM
27
生产环境部署
容器化 · Kubernetes部署 · 监控与日志
生产环境部署容器化
28
性能调优实战
针对特定模型和硬件进行调优
性能调优实战针对特定模型
29
综合项目
构建一个端到端的大模型推理加速系统
综合项目构建一个端到端的…
30
课程总结
回顾关键知识点 · 展望未来发展趋势
课程总结回顾关键知识点