VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM生产环境部署避坑指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 生产环境部署的挑战与常见误区
课程导入学习目标
02
TensorRT-LLM基础
核心概念 · 架构 · 与原生PyTorch推理的差异
TensorRT-LLM核心概念
03
环境准备
硬件要求 · CUDA/cuDNN/TensorR… · Docker镜像选择
环境准备硬件要求
04
模型转换流程
从PyTorch到ONNX再到Ten…
模型转换流程PyTorch
05
量化技术
FP16 · INT8 · INT4量化的原理
量化技术FP16
06
引擎构建优化
批处理 · 动态形状 · 内存池
引擎构建优化批处理
07
部署架构设计
单机多卡 · 多机多卡 · 推理服务与业务系统的集成
部署架构设计单机多卡
08
推理服务框架
使用Triton Inference…
推理服务框架Triton
09
性能基准测试
吞吐量 · 延迟 · GPU利用率等指标的测量与优化
性能基准测试吞吐量
10
常见部署问题
内存不足 · 精度下降 · 推理速度慢等问题的排查与解决
常见部署问题内存不足
11
日志与监控
日志记录 · 指标监控 · 告警设置
日志监控
12
安全与权限
模型加密 · API认证 · 网络安全
安全权限
13
高可用与容错
负载均衡 · 故障转移 · 模型热更新
高可用容错
14
版本管理与回滚
模型版本控制 · A/B测试 · 快速回滚策略
版本管理回滚
15
案例实战
从零部署一个GPT类模型到生产环境
案例实战GPT
16
案例实战
部署LLaMA模型并优化性能
案例实战LLaMA
17
案例实战
多模型部署与资源隔离
案例实战多模型部署
18
案例实战
处理长序列输入的部署优化
案例实战处理长序列输入的…
19
案例实战
流式输出与实时交互场景的部署
案例实战流式输出
20
案例实战
在Kubernetes集群中部署Te…
案例实战Kubernetes
21
常见问题
CUDA错误 · 驱动不匹配 · 显存溢出等
常见问题CUDA
22
常见问题
模型转换失败 · 精度损失 · 推理结果错误
常见问题模型转换失败
23
常见问题
并发请求处理不当导致的服务崩溃
常见问题并发请求处理不当…
24
常见问题
性能瓶颈分析与调优
常见问题性能瓶颈分析
25
综合提升
结合TensorRT-LLM与vLL…
综合提升TensorRT-LLM
26
综合提升
利用TensorRT-LLM进行模型…
综合提升TensorRT-LLM
27
综合提升
部署自定义模型（如多模态模型）的注意…
综合提升部署自定义模型
28
综合提升
生产环境中的成本优化与资源管理
综合提升生产环境
29
综合提升
未来趋势与TensorRT-LLM的…
综合提升TensorRT-LLM
30
课程总结
核心要点回顾 · 最佳实践清单 · 进一步学习资源
课程总结核心要点回顾