VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM与TensorRT核心差异解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · TensorRT与TensorRT-…
课程导入学习目标
02
TensorRT基础
核心概念 · 推理优化原理 · 典型应用场景
TensorRT核心概念
03
TensorRT-LLM基础
核心概念 · 设计目标 · 与TensorRT的关系
TensorRT-LLM核心概念
04
架构差异
TensorRT与TensorRT-…
架构差异TensorRT
05
模型支持差异
支持的模型类型 · 精度 · 动态形状等对比
模型支持差异支持的模型类型
06
优化策略差异
层融合 · 内核自动调优 · 内存优化等对比
优化策略差异层融合
07
LLM特有优化
KV Cache · PagedAttention · 连续批处理等
LLM特有优化
08
部署流程差异
从模型转换到推理服务的流程对比
部署流程差异从模型转换到推理…
09
API差异
TensorRT与TensorRT-…
API差异
10
性能对比
延迟 · 吞吐量 · 显存占用等基准测试方法
性能对比延迟
11
案例实战
使用TensorRT部署一个传统CN…
案例实战TensorRT
12
案例实战
使用TensorRT-LLM部署一个…
案例实战TensorRT-LLM
13
常见问题
TensorRT-LLM与Tenso…
常见问题TensorRT-LLM
14
常见问题
模型转换失败 · 精度损失 · 性能瓶颈等
常见问题模型转换失败
15
调优技巧
针对TensorRT-LLM的推理参…
调优技巧TensorRT-LLM
16
调优技巧
针对TensorRT的推理参数调优
调优技巧TensorRT
17
多GPU与分布式
TensorRT-LLM的多卡推理与…
GPU分布式
18
多GPU与分布式
TensorRT的多流与多设备支持
GPU分布式
19
动态形状与可变序列长度
TensorRT-LLM的处理方式
动态形状可变序列长度
20
动态形状与可变序列长度
TensorRT的处理方式
动态形状可变序列长度
21
量化技术
TensorRT与TensorRT-…
量化技术TensorRT
22
量化技术
PTQ与QAT在两者中的实现
量化技术PTQ
23
插件与自定义层
在TensorRT和TensorRT…
插件自定义层
24
生态集成
与PyTorch · ONNX · HuggingFace等的集成对比
生态集成PyTorch
25
部署工具链
TensorRT的trtexec与T…
部署工具链TensorRT
26
监控与日志
推理服务的监控指标与日志分析
监控日志
27
安全与稳定性
模型加密 · 版本管理 · 故障恢复
安全稳定性
28
综合实战
从PyTorch模型到TensorR…
综合实战PyTorch
29
综合实战
对比TensorRT与TensorR…
综合实战TensorRT
30
课程总结
核心差异回顾 · 选型建议 · 学习路径展望
课程总结核心差异回顾