VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM 精度损失排查实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 精度损失问题概述
课程导入学习目标
02
TensorRT-LLM 基础
架构 · 推理流程 · 精度损失常见原因
TensorRT-LLM架构
03
精度损失类型
量化误差 · 数值溢出 · 舍入误差
精度损失类型量化误差
04
环境准备
安装 TensorRT-LLM · 配置 GPU · 依赖库版本
环境准备TensorRT-LLM
05
模型转换与部署
从 PyTorch 到 Tensor…
模型转换部署
06
精度评估方法
使用参考模型对比 · 指标计算（如余弦相似度 · KL散度）
精度评估方法使用参考模型对比
07
日志与调试工具
启用详细日志 · 使用调试器定位问题
日志调试工具
08
量化基础
INT8/FP8 量化原理 · 量化参数（scale/zero-po…
量化基础INT8/FP8
09
量化误差分析
量化噪声 · 敏感层识别 · 校准数据集选择
量化误差分析量化噪声
10
FP16 精度问题
溢出 · 下溢 · 精度损失场景
FP16精度问题
11
TF32 与 FP32 对比
精度与性能权衡
TF32FP32
12
层归一化与激活函数
精度敏感操作的处理
层归一化激活函数
13
注意力机制精度
Softmax 稳定性 · QKV 计算误差
注意力机制精度Softmax
14
位置编码与嵌入层
精度影响及优化
位置编码嵌入层
15
模型并行与精度
张量并行 · 流水线并行对精度的影响
模型并行精度
16
KV Cache 精度
缓存量化 · 缓存管理对精度的影响
KVCache
17
常见精度损失案例
案例一：输出偏差大 · 案例二：特定输入崩溃
常见精度损失案例案例一
18
精度损失排查流程
从现象到根因的系统化方法
精度损失排查流程从现象到根因的系…
19
使用 TensorRT-LLM 内置工具
精度对比工具 · 性能分析器
TensorRT-LLM使用
20
自定义调试脚本
编写 Python 脚本逐层对比输出
自定义调试脚本Python
21
校准技术
动态校准 · 静态校准 · 校准数据增强
校准技术动态校准
22
量化感知训练
QAT 原理 · 在 TensorRT-LLM 中的应…
量化感知训练QAT
23
后训练量化
PTQ 优化 · 混合精度量化
后训练量化PTQ
24
精度与性能平衡
调整精度设置 · 批处理大小 · 序列长度
精度性能平衡
25
多 GPU 环境下的精度问题
通信误差 · 同步问题
GPU环境下的精度问题
26
推理服务中的精度监控
实时监控 · 告警机制
推理服务精度监控
27
常见问题与解决方案
FAQ 汇总
常见问题解决方案
28
综合实战
端到端精度损失排查项目
综合实战端到端精度损失排…
29
高级主题
稀疏化 · 剪枝对精度的影响
高级主题稀疏化
30
课程总结
核心要点回顾 · 最佳实践 · 学习路径建议
课程总结核心要点回顾