VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM企业级落地全栈解决方案

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 企业级LLM推理的挑战与Tensor…
课程导入学习目标
02
环境搭建
GPU选型 · CUDA/cuDNN/TensorR… · Docker镜像构建与验证
环境搭建GPU
03
TensorRT-LLM核心概念
模型图 · 引擎 · 插件
TensorRT-LLM核心概念
04
模型转换与量化
FP16/INT8/INT4量化原理 · PTQ与QAT流程 · 精度评估
模型转换量化
05
模型编译与引擎生成
使用trtllm-build构建引擎 · 配置参数 · 优化选项
模型编译引擎生成
06
推理服务部署
使用Triton Inference…
推理服务部署Triton
07
性能调优
吞吐量 · 延迟 · 并发
性能调优吞吐量
08
多模型管理与动态批处理
多模型加载 · 模型路由 · 动态批处理实现
多模型管理动态批处理
09
高可用与弹性伸缩
负载均衡 · 故障转移 · 自动扩缩容
高可用弹性伸缩
10
安全与权限控制
模型加密 · API认证 · 网络隔离
安全权限控制
11
监控与日志
性能指标采集 · 日志管理 · 告警设置
监控日志
12
案例实战
基于Llama 3的聊天机器人部署
案例实战Llama
13
案例实战
基于GPT类模型的文本生成服务
案例实战GPT
14
案例实战
多模态模型（如LLaVA）的部署
案例实战LLaVA
15
常见问题与故障排查
内存不足 · 精度下降 · 性能瓶颈等
常见问题故障排查
16
与vLLM、FasterTransformer对比
架构 · 性能 · 适用场景
vLLMFasterTransf…
17
企业级特性
多租户支持 · 资源隔离 · 配额管理
企业级特性多租户支持
18
模型生命周期管理
版本控制 · 灰度发布 · 回滚
模型生命周期管理版本控制
19
成本优化
GPU利用率提升 · 混合精度 · 模型压缩
成本优化GPU
20
边缘部署
TensorRT-LLM在边缘设备上…
边缘部署TensorRT-LLM
21
与Kubernetes集成
部署 · 调度 · 自动伸缩
Kubernetes集成
22
推理加速进阶
投机采样 · 并行解码 · 前缀缓存
推理加速进阶投机采样
23
自定义算子开发
扩展TensorRT-LLM支持新模…
自定义算子开发TensorRT-LLM
24
模型服务化最佳实践
RESTful API设计 · 流式输出
模型服务化最佳实…RESTful
25
性能基准测试
使用perf_analyzer等工具…
性能基准测试perf
26
案例实战
企业知识库问答系统
案例实战企业知识库问答系…
27
案例实战
代码生成助手
案例实战代码生成助手
28
综合项目
构建一个高并发 · 低延迟的LLM推理平台
综合项目构建一个高并发
29
前沿趋势
TensorRT-LLM新特性 · LLM推理技术发展
前沿趋势TensorRT-LLM
30
课程总结
核心要点回顾 · 学习路径建议 · 企业落地经验分享
课程总结核心要点回顾