VIP8

本课程属于：012-大模型推理部署与GPU优化 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

TensorRT LLM 部署指南

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

TensorRT LLM 概述

什么是TensorRT LLM、核心优势、与传统推理框架对比、适用场景。

硬件要求（GPU型号、显存）、软件栈（CUDA、cuDNN、TensorRT版本）、Docker镜像构建。

模型导出与ONNX转换

从PyTorch/HuggingFace导出模型、ONNX opset选择、动态shape处理、常见导出错误排查。

TensorRT LLM 核心概念

Engine、Builder、Network Definition、Plugin、Optimization Profile。

模型编译与优化

FP16/INT8/INT4量化、层融合、内存优化、Kernel Auto-tuning、编译参数详解。

Plugin 开发基础

TensorRT Plugin接口、自定义算子注册、Plugin参数传递、序列化与反序列化。

Attention 机制优化

FlashAttention集成、PagedAttention原理、Multi-Query Attention、Grouped-Query Attention。

Attention优化

KV Cache 管理与优化

KV Cache原理、内存池管理、Cache共享、Prefix Caching、滑动窗口。

Batching 策略

Static Batching、Dynamic Batching、Continuous Batching、Inflight Batching。

推理引擎构建与运行

Engine构建流程、Runtime API使用、Session管理、多实例部署。

Python API 实战

TensorRT LLM Python绑定、模型加载、推理循环、输出解析。

C++ Runtime集成、Stream管理、异步推理、性能调优。

服务化部署

gRPC/HTTP服务搭建、请求队列、并发控制、负载均衡。

性能基准测试

Latency、Throughput、TTFT、TPOT指标、Profiling工具使用、性能瓶颈分析。

性能Profiling

内存优化技巧

显存复用、内存碎片整理、Offloading策略、CPU-GPU混合推理。

Tensor Parallelism、Pipeline Parallelism、Sequence Parallelism、通信优化。

SmoothQuant、AWQ、、FP8量化、混合精度推理、Calibration数据集构建。

稀疏化与剪枝

结构化剪枝、非结构化剪枝、NVIDIA 2:4稀疏、稀疏推理加速。

Speculative Decoding

推测解码原理、Draft Model选择、验证策略、加速效果分析。

Streaming 与流式输出

流式传输、Server-Sent Events、WebSocket实现、前端集成。

System Prompt管理、Prompt Caching、Prompt Compression、长上下文处理。

Function Calling 支持

Tool定义、Function调用流程、结构化输出、JSON Schema约束。

Function结构化

多模态模型部署

LLaVA、Qwen-VL等视觉语言模型、图像编码器集成、多模态推理流程。

LoRA/Adapter 部署

LoRA权重合并、多Adapter切换、热加载、性能开销分析。

安全与合规

模型加密、License管理、访问控制、日志审计、数据脱敏。

监控与告警

Metrics采集（GPU利用率、显存、延迟）、Prometheus集成、Grafana仪表盘、告警规则。

监控Prometheus

自动化编译流水线、模型版本管理、A/B测试、回滚策略。

常见问题排查

OOM错误、精度损失、编译失败、性能回退、兼容性问题。

生产环境最佳实践

高可用架构、容灾备份、滚动更新、资源配额管理。

生产最佳实践

未来展望与总结

TensorRT LLM Roadmap、社区生态、与vLLM/TGI对比、学习资源推荐。