VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

推理延迟优化实战课

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

推理延迟概述

什么是推理延迟、为什么重要、延迟 vs 吞吐量、优化目标设定。

性能分析工具入门

Linux perf、Nsight Systems、PyTorch Profiler 基础使用。

工具Profiling

模型结构优化

轻量化模型设计（MobileNet、EfficientNet）、注意力机制优化（Flash Attention）。

架构轻量化

量化技术基础

FP32 vs FP16 vs INT8、量化原理、对称/非对称量化。

PyTorch 静态量化、动态量化、QAT（量化感知训练）实操。

结构化剪枝、非结构化剪枝、L1/L2 剪枝、实际效果对比。

蒸馏原理、软标签 vs 硬标签、温度参数调优、蒸馏实战。

Conv+BN+ReLU 融合、LayerNorm 融合、手动融合与自动融合。

计算图优化

TorchScript 与 JIT、图优化策略（常量折叠、死代码消除）。

ONNX 与 ONNX Runtime

模型导出、ONNX 算子兼容性、ORT 加速实践。

TensorRT 入门

TensorRT 核心概念、模型转换（trtexec）、FP16/INT8 引擎构建。

TensorRT 高级

动态形状、多流推理、Plugin 自定义算子、性能调优。

OpenVINO 实战

模型转换、推理部署、CPU/GPU/VPU 加速。

Triton Inference Server

服务架构、并发模型管理、动态批处理、性能监控。

服务化Triton

vLLM 与 LLM 推理优化

PagedAttention、Continuous Batching、KV Cache 优化。

GPU 内核优化

CUDA 基础、内存访问模式、Shared Memory 使用、Warp 调度。

CUDA Graph 与推理加速

CUDA Graph 原理、捕获与重放、实际加速效果。

CUDA Graph加速

显存复用、内存池、梯度检查点、Activation Checkpointing。

数据加载与预处理优化

DataLoader 多进程、内存映射、预处理流水线、缓存策略。

批处理策略

静态批处理、动态批处理、自适应批处理、延迟与吞吐量权衡。

批处理吞吐

异步推理与流水线

异步 API 使用、推理流水线设计、多线程/多进程调度。

异步流水线

模型服务化

RESTful API vs gRPC、模型版本管理、A/B 测试、负载均衡。

边缘端推理优化

TFLite、NNAPI、Core ML、ONNX Runtime Mobile。

边缘移动端

CPU 推理优化

MKL-DNN/oneDNN、AVX 指令集、OpenMP 并行、内存布局优化。

推理框架对比

PyTorch vs TensorFlow vs ONNX Runtime vs TensorRT vs OpenVINO。

延迟分析实战

火焰图分析、瓶颈定位、端到端延迟拆解。

分析火焰图

SLA 与延迟预算

P99 延迟、延迟分布、超时策略、降级与熔断。

大规模部署实践

Kubernetes 推理集群、自动扩缩容、GPU 共享、成本优化。

监控与告警

Prometheus + Grafana 监控、自定义指标、延迟告警规则。

综合实战项目

从模型训练到生产部署全链路延迟优化，输出优化报告。

实战全链路

专注课程资料整理