VIP20

本课程属于：010-编译器适配 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

推理性能瓶颈实战排查

📚 共计 30 章节

性能瓶颈初探

什么是推理性能瓶颈？为什么会出现？常见的性能指标（延迟、吞吐量、QPS）。

环境准备与工具链

搭建性能排查环境，介绍必备工具（perf、top、htop、nvidia-smi、iostat）。

CPU 性能分析

CPU 使用率、上下文切换、中断、负载均衡，如何用 top 和 perf 定位 CPU 瓶颈。

内存性能分析

内存使用率、Swap、缺页异常、内存泄漏，用 free、vmstat、valgrind 排查。

磁盘 I/O 性能分析

磁盘读写延迟、IOPS、队列长度，用 iostat、iotop、fio 进行压测与定位。

网络性能分析

网络延迟、带宽、丢包、TCP 连接状态，用 ping、traceroute、netstat、tcpdump 分析。

GPU 性能分析

GPU 利用率、显存占用、SM 占用率、带宽瓶颈，用 nvidia-smi、Nsight Systems 定位。

推理框架性能分析

TensorRT、ONNX Runtime、PyTorch 推理优化，Profiling 工具的使用。

框架Profiling

模型加载与预处理瓶颈

模型加载时间、数据预处理（图像解码、归一化）的耗时分析。

预处理加载

Batch 推理优化

动态 Batch、静态 Batch、Batch 大小对吞吐量和延迟的影响。

并发与异步推理

多线程、多进程、异步推理模式，GIL 的影响与规避。

显存碎片、显存复用、梯度检查点、混合精度推理。

显存混合精度

融合算子、手写 CUDA Kernel、使用 TensorRT Plugin。

INT8、FP16 量化原理，量化带来的精度损失与性能提升。

模型剪枝与蒸馏

结构化剪枝、非结构化剪枝、知识蒸馏对推理性能的影响。

KV Cache、Page Attention、Radix Attention 在 LLM 推理中的应用。

分布式推理

模型并行、张量并行、流水线并行，多卡推理的负载均衡。

分布式并行

推理服务化

使用 Triton Inference Server、TorchServe 部署，动态批处理与请求调度。

服务化Triton

端到端延迟优化

从客户端请求到服务端响应的全链路延迟分析。

延迟全链路

吞吐量压测

使用 wrk、locust、ghz 对推理服务进行压力测试，寻找极限吞吐。

性能监控与告警

Prometheus + Grafana 搭建推理性能监控面板，设置关键指标告警。

日志与 Tracing

结构化日志、OpenTelemetry 分布式追踪，定位慢请求。

A/B 测试与灰度发布

对比不同优化策略的效果，安全上线新模型。

容器化部署性能

Docker 资源限制、Kubernetes 调度策略对推理性能的影响。

硬件选型与适配

CPU vs GPU vs NPU，不同硬件对推理性能的影响。

冷启动优化

模型预热、模型缓存、即时编译（JIT）优化。

动态形状推理

处理变长输入，动态形状下的性能优化技巧。

动态形状变长

安全与性能权衡

模型加密、鉴权对性能的影响，如何平衡。

案例实战一：图像分类

图像分类模型推理性能优化全流程。

案例实战二：大语言模型

大语言模型（LLM）推理性能优化全流程。