VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM与量化技术深度结合实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与工具链概览
课程导入学习目标
02
深度学习模型量化基础
量化原理 · 定点与浮点 · 对称与非对称量化
深度学习模型量化…量化原理
03
量化误差分析与评估
量化误差来源 · 评估指标 · 校准数据集的作用
量化误差分析评估
04
TensorRT-LLM架构与核心概念
引擎构建 · 执行流程 · 插件机制
TensorRT-LLM架构
05
TensorRT-LLM环境搭建
安装配置 · 依赖项 · 验证安装
TensorRT-LLM环境搭建
06
模型转换与优化流程
从PyTorch到ONNX再到Ten…
模型转换优化流程
07
量化方法详解
PTQ（训练后量化）与QAT（量化感…
量化方法详解PTQ
08
TensorRT-LLM中的量化支持
INT8 · FP8 · INT4等格式
TensorRT-LLM量化支持
09
权重量化与激活量化
量化粒度 · per-tensor与per-cha…
权重量化激活量化
10
校准技术
最小化量化误差的校准方法（如MinM… · Percentile）
校准技术MinM
11
TensorRT-LLM量化工具使用
trtexec · polygraphy等
TensorRT-LLM量化工具使用
12
实战
使用TensorRT-LLM对LLa…
TensorRT-LLMLLa
13
实战
FP8量化在TensorRT-LLM…
FP8TensorRT-LLM
14
实战
INT4量化与AWQ/GPTQ算法集…
INT4AWQ/GPTQ
15
量化模型性能评估
推理速度 · 显存占用 · 精度对比
量化模型性能评估推理速度
16
量化模型部署
TensorRT引擎序列化与反序列化
量化模型部署TensorRT
17
动态形状与批处理优化
在量化模型中的处理
动态形状批处理优化
18
KV Cache量化
减少显存占用与提升吞吐
KVCache
19
多GPU与分布式推理
量化模型的扩展
GPU分布式推理
20
常见问题与调试
量化后精度下降 · 性能瓶颈等
常见问题调试
21
量化与稀疏化结合
进一步压缩模型
量化稀疏化结合
22
量化模型的安全性与鲁棒性
对抗攻击与防御
量化模型的安全性鲁棒性
23
案例研究
量化在真实业务场景中的应用
案例研究量化
24
性能调优
使用NVIDIA Nsight等工具…
性能调优NVIDIA
25
与HuggingFace Transformers集成
量化模型的加载与推理
HuggingFaceTransformers
26
自定义量化算子开发
扩展TensorRT-LLM
自定义量化算子开…TensorRT-LLM
27
量化模型微调
在量化基础上进行参数高效微调
量化模型微调量化基础上进行参…
28
前沿进展
最新量化技术与TensorRT-LL…
前沿进展TensorRT-LL
29
综合实战项目
端到端构建量化LLM服务
综合实战项目LLM
30
课程总结与进阶路径
学习资源 · 社区与认证
课程总结进阶路径