VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM模型转换与格式适配实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与工具链概览
课程导入学习目标
02
TensorRT-LLM基础
核心概念 · 架构 · 与原生TensorRT的关系
TensorRT-LLM核心概念
03
模型格式概述
常见模型格式（PyTorch · ONNX · TensorRT）及转换需求
模型格式概述PyTorch
04
环境搭建
CUDA · cuDNN · TensorRT
环境搭建CUDA
05
PyTorch模型导出为ONNX
使用torch.onnx.expor… · 处理动态轴与算子兼容
PyTorchONNX
06
ONNX模型优化
使用onnx-simplifier · onnx-graphsurgeon进…
ONNX模型优化
07
TensorRT-LLM支持的模型架构
Transformer · GPT · LLaMA等
TensorRT-LLM支持的模型架构
08
权重转换基础
理解模型权重格式（safetenso… · bin）与转换工具
权重转换基础safetenso
09
使用TensorRT-LLM的convert_checkpoint.py
将HuggingFace模型转换为T…
TensorRT-LLMconvert
10
配置模型参数
max_batch_size · max_seq_len · dtype等
配置模型参数max
11
构建TensorRT引擎
trtllm-build命令的使用与…
TensorRT构建
12
引擎序列化与反序列化
保存和加载.engine文件
引擎序列化反序列化
13
模型推理测试
使用trtllm-run或Pytho…
模型推理测试trtllm-run
14
处理自定义模型
修改转换脚本以适配非标准架构
处理自定义模型修改转换脚本以适…
15
量化基础
PTQ与QAT概念 · TensorRT-LLM中的量化支持
量化基础PTQ
16
INT8量化实践
使用TensorRT-LLM进行IN…
INT8量化实践
17
FP8量化实践
FP8格式转换与推理
FP8量化实践
18
KV Cache量化
减少显存占用 · 提升吞吐
KVCache
19
多GPU推理
张量并行与流水线并行的配置
GPU推理
20
性能调优
使用TensorRT-LLM的pro…
性能调优TensorRT-LLM
21
常见问题与解决方案
转换失败 · 精度损失 · 性能不佳等
常见问题解决方案
22
案例实战
将GPT-2转换为TensorRT-…
案例实战GPT-2
23
案例实战
将LLaMA-2转换为TensorR…
案例实战LLaMA-2
24
案例实战
将Falcon模型转换并适配
案例实战Falcon
25
与HuggingFace集成
使用TensorRT-LLM作为后端…
HuggingFace集成
26
与vLLM对比
性能与易用性分析
vLLM对比
27
部署到生产环境
使用Triton Inference…
部署到生产环境Triton
28
模型格式适配
处理不同精度 · 不同参数规模的模型
模型格式适配处理不同精度
29
综合实战
从HuggingFace下载模型到T…
综合实战HuggingFace
30
课程总结
知识回顾 · 最佳实践 · 学习路径建议
课程总结知识回顾