VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM与HuggingFace模型集成实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
课程目标 · 适用人群 · 学习路径
课程导入课程目标
02
HuggingFace模型基础
Transformers库核心概念 · 模型加载与使用 · tokenizer与pipeline
HuggingFace模型基础
03
TensorRT-LLM概述
TensorRT-LLM的定位 · 优势 · 与原生PyTorch推理的对比
TensorRT-LLM的定位
04
TensorRT-LLM架构与核心组件
引擎构建 · 模型定义 · 插件
TensorRT-LLM架构
05
环境搭建与安装
安装TensorRT-LLM · 依赖库 · 验证安装
环境搭建安装
06
模型转换流程
将HuggingFace模型转换为T… · 权重转换）
模型转换流程HuggingFace
07
TensorRT-LLM模型定义
使用Python API定义模型结构 · 支持常见LLM架构（GPT · LLaMA等）
TensorRT-LLM模型定义
08
构建TensorRT引擎
配置引擎参数（精度 · 批量大小 · 序列长度）
TensorRT构建
09
引擎序列化与反序列化
保存和加载引擎文件 · 实现快速部署
引擎序列化反序列化
10
推理接口实现
编写推理代码 · 处理输入输出 · tokenization与detok…
推理接口实现编写推理代码
11
性能优化基础
TensorRT-LLM的优化技术（… · 内核自动调优 · 量化）
性能优化基础TensorRT-LLM
12
量化技术
PTQ与QAT · INT8/FP8量化实践 · 精度与性能权衡
量化技术PTQ
13
动态形状处理
支持可变批量大小和序列长度 · 配置动态形状
动态形状处理支持可变批量大小
14
批处理与并发
实现高吞吐推理 · 使用批处理 · 流式处理
批处理并发
15
内存优化
KV Cache管理 · 显存优化 · 减少内存碎片
内存优化KV
16
与HuggingFace Pipeline集成
将TensorRT-LLM引擎封装为…
HuggingFacePipeline
17
与HuggingFace API集成
使用HuggingFace的API与…
HuggingFaceAPI
18
案例实战
文本生成任务（GPT模型）的完整集成…
案例实战GPT
19
案例实战
对话模型（LLaMA）的集成与部署
案例实战LLaMA
20
案例实战
多任务模型（T5）的集成与微调
案例实战T5
21
常见问题与调试
引擎构建失败 · 精度下降 · 性能瓶颈等问题的排查
常见问题调试
22
性能基准测试
使用工具（如TensorRT-LLM…
性能基准测试TensorRT-LLM
23
模型服务化
使用TensorRT-LLM Ser…
模型服务化TensorRT-LLM
24
与HuggingFace Hub集成
从Hub下载模型并转换 · 上传转换后的模型
HuggingFaceHub
25
多GPU与分布式推理
使用TensorRT-LLM进行多卡…
GPU分布式推理
26
高级特性
投机解码 · paged KV cache · inflight batching等
高级特性投机解码
27
安全与稳定性
模型安全性 · 错误处理 · 日志监控
安全稳定性
28
综合项目
构建一个端到端的LLM推理服务 · 集成HuggingFace生态
综合项目LLM
29
课程总结
知识回顾 · 最佳实践 · 学习资源推荐
课程总结知识回顾
30
结业测试
综合测试题 · 评估学员对课程内容的掌握程度
结业测试综合测试题