VIP20

本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零掌握TensorRT-LLM模型编译

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · TensorRT-LLM概述及其在L…

课程导入学习目标

安装NVIDIA驱动 · CUDA · cuDNN

环境搭建NVIDIA

模型转换基础

理解ONNX · TorchScript · FasterTransformer等…

模型转换基础ONNX

TensorRT-LLM核心概念

引擎 · 执行上下文 · 张量

TensorRT-LLM核心概念

模型编译流程

从PyTorch模型到TensorR… · 包括导出 · 转换

模型编译流程PyTorch

配置编译参数

精度（FP32/FP16/INT8） · 批量大小 · 序列长度

配置编译参数FP32/FP16/IN…

使用trtllm-build命令行工具

参数详解 · 示例命令 · 常见错误处理

trtllm-build使用

使用Python API编译

编写脚本实现模型编译 · 与命令行对比

模型优化技术

层融合 · 内核自动调优 · 内存池

模型优化技术层融合

量化原理 · PTQ与QAT · TensorRT-LLM中的INT8…

量化基础量化原理

编译GPT模型：以GPT-2为例 · 从HuggingFace模型到Ten…

编译LLaMA模型 · 如旋转位置编码 · RMSNorm

编译多模态模型：如LLaVA · 处理视觉编码器与语言模型的结合

LLaVA编译多模态模型

引擎加载与推理

使用Python/C++ API加载… · 执行推理 · 处理输入输出

引擎加载推理

性能基准测试

测量延迟 · 吞吐量 · 使用trtllm-bench等工具

性能基准测试测量延迟

动态形状处理

支持可变批量大小和序列长度 · 配置优化配置文件

动态形状处理支持可变批量大小

显存占用分析 · 优化KV缓存 · 处理长序列

内存管理显存占用分析

常见编译错误及解决

内存不足 · 算子不支持 · 精度问题等

常见编译错误解决

调试与日志

启用详细日志 · 使用调试工具定位问题

模型服务化

使用TensorRT-LLM的服务器… · 部署为REST API

模型服务化TensorRT-LLM

性能 · 易用性 · 功能差异

张量并行 · 流水线并行配置

编译自定义模型

处理自定义算子 · 扩展TensorRT-LLM

编译自定义模型处理自定义算子

模型更新与重编译

增量编译 · 热更新策略

模型更新重编译

安全与稳定性

处理异常输入 · 防止崩溃 · 保证服务稳定

安全稳定性

工业级部署案例 · 如聊天机器人 · 代码生成

案例研究工业级部署案例

从零编译并部署一个完整的LLM服务 · 包括性能调优

综合实战LLM

常见问题解答

汇总学员常见问题 · 提供解决方案

常见问题解答汇总学员常见问题

使用TensorRT-LLM的高级特… · 如inflight batching · paged KV cache

进阶优化TensorRT-LLM

回顾关键点 · 提供学习路径和资源推荐

课程总结回顾关键点