VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM低延迟服务架构设计实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 低延迟服务架构的整体概念
课程导入学习目标
02
TensorRT-LLM基础
TensorRT-LLM的架构 · 核心组件 · 与标准TensorRT的区别
TensorRT-LLM的架构
03
环境搭建
GPU服务器配置 · CUDA/cuDNN/TensorR… · Docker容器化部署
环境搭建GPU
04
模型转换与优化
将PyTorch模型转换为Tenso… · 精度校准（FP16/INT8） · 动态形状支持
模型转换优化
05
推理引擎配置
引擎参数调优（最大批大小 · 序列长度） · 并发推理设置
推理引擎配置引擎参数调优
06
服务架构设计
同步/异步推理模式 · 请求队列 · 批处理策略（动态批处理
服务架构设计同步
07
低延迟优化技术
KV缓存优化 · 前缀缓存 · 投机解码
低延迟优化技术KV
08
网络通信优化
gRPC/HTTP服务框架选择 · 连接复用 · 流式响应实现
网络通信优化gRPC/HTTP
09
负载均衡与扩展
多GPU/多节点部署 · 负载均衡策略 · 水平扩展设计
负载均衡扩展
10
性能监控与调优
延迟/吞吐量指标 · Profiling工具 · 瓶颈分析
性能监控调优
11
案例实战
基于TensorRT-LLM构建一个…
案例实战TensorRT-LLM
12
案例实战
集成HuggingFace模型并优化…
案例实战HuggingFace
13
案例实战
实现流式输出与长上下文支持
案例实战实现流式输出
14
案例实战
多模型管理与动态加载
案例实战多模型管理
15
常见问题
内存泄漏 · 显存不足 · 并发冲突的排查与解决
常见问题内存泄漏
16
常见问题
模型精度损失 · 推理结果不一致的调试
常见问题模型精度损失
17
常见问题
服务启动慢 · 首次推理延迟高的优化
常见问题服务启动慢
18
安全与稳定性
服务容错 · 优雅关闭 · 请求超时处理
安全稳定性
19
测试与评估
压力测试 · 延迟分布分析 · SLA保障
测试评估
20
综合提升
结合Kubernetes部署高可用服…
综合提升Kubernetes
21
综合提升
使用TensorRT-LLM的C++…
综合提升TensorRT-LLM
22
综合提升
针对特定硬件（如A100/H100）…
综合提升A100/H100
23
综合提升
与推理网关（如Triton）集成
综合提升Triton
24
综合提升
实现多租户隔离与资源配额
综合提升实现多租户隔离
25
综合提升
模型量化与蒸馏在低延迟场景的应用
综合提升模型量化
26
综合提升
边缘部署与移动端适配
综合提升边缘部署
27
综合提升
成本优化与性能平衡
综合提升成本优化
28
综合提升
监控告警与日志分析
综合提升监控告警
29
综合提升
最佳实践总结与架构模式
综合提升最佳实践总结
30
课程总结
核心要点回顾 · 学习路径建议 · 未来趋势展望
课程总结核心要点回顾