VIP8
本课程属于：022-TensorRT-LLM推理工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM高性能部署全流程实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 环境准备与整体流程概览
课程导入学习目标
02
大模型推理基础
Transformer架构 · 自回归生成 · KV Cache原理
大模型推理基础Transformer
03
TensorRT-LLM概述
TensorRT-LLM的定位 · 核心特性 · 与其他推理框架的对比
TensorRT-LLM的定位
04
环境搭建
CUDA · cuDNN · TensorRT
环境搭建CUDA
05
模型转换基础
从HuggingFace模型到Ten…
模型转换基础HuggingFace
06
权重绑定与模型定义
使用Python API定义模型结构…
权重绑定模型定义
07
构建引擎
配置构建参数（精度 · 批量大小 · 序列长度）并生成TensorRT引擎
构建引擎配置构建参数
08
推理运行时
使用TensorRT-LLM的Pyt…
推理运行时TensorRT-LLM
09
量化技术入门
FP16 · INT8 · INT4量化的原理与在TensorR…
量化技术入门FP16
10
量化实战
使用TensorRT-LLM对LLa…
量化实战TensorRT-LLM
11
KV Cache优化
Paged KV Cache · 缓存管理 · 显存优化
KVCache
12
批处理与并发
动态批处理 · 连续批处理 · 并发请求处理
批处理并发
13
性能调优
吞吐量 · 延迟 · 显存占用的测量与优化策略
性能调优吞吐量
14
多GPU部署
张量并行 · 流水线并行 · 模型并行配置
GPU部署
15
服务化部署
使用Triton Inference…
服务化部署Triton
16
API设计
设计RESTful/gRPC接口 · 实现流式输出
API设计
17
案例实战
部署系列模型（如 · ）并测试
案例实战
18
案例实战
部署LLaMA系列模型（如LLaMA… · LLaMA-3）并测试
案例实战LLaMA
19
案例实战
部署Mistral · Mixtral等模型并对比性能
案例实战Mistral
20
常见问题排查
编译错误 · 推理错误 · 显存不足等问题的诊断与解决
常见问题排查编译错误
21
高级特性
In-flight Batching · Attention优化 · 自定义算子
高级特性In-flight
22
模型优化进阶
剪枝 · 蒸馏与TensorRT-LLM的结合
模型优化进阶剪枝
23
安全与稳定性
模型保护 · 错误处理 · 日志监控
安全稳定性
24
性能基准测试
使用标准数据集评估模型性能并生成报告
性能基准测试使用标准数据集评…
25
部署到云环境
在AWS/GCP/Azure上部署T…
部署到云环境AWS/GCP/Azur…
26
部署到边缘设备
在Jetson等嵌入式平台上的部署实…
部署到边缘设备Jetson
27
与LangChain集成
将TensorRT-LLM作为LLM…
LangChain集成
28
与vLLM对比
分析TensorRT-LLM与vLL…
vLLM对比
29
综合项目
构建一个端到端的高性能LLM问答系统
综合项目LLM
30
课程总结
回顾关键知识点 · 常见陷阱 · 未来发展趋势与学习路径
课程总结回顾关键知识点