01
大模型推理加速概述
为什么需要推理加速？推理延迟与吞吐量的权衡，加速方案的分类与演进。
基础概念
02
模型量化基础
量化原理（FP16、INT8、INT4），对称量化与非对称量化，量化误差分析。
量化INT8
03
量化感知训练（QAT）
QAT原理与流程，伪量化节点（FakeQuant），QAT vs 训练后量化（PTQ）。
QAT训练
04
训练后量化（PTQ）
PTQ流程，校准数据集的选择，逐层量化与逐通道量化。
PTQ校准
05
KV Cache 原理
自回归解码的瓶颈，KV Cache 的存储与复用，显存占用分析。
显存解码
06
KV Cache 优化
PagedAttention 原理，vLLM 框架介绍，动态显存管理。
vLLMPaged
07
连续批处理（Continuous Batching）
静态批处理的缺陷，连续批处理的调度逻辑，Inflight Batching。
批处理调度
08
投机解码（Speculative Decoding）
草稿模型与目标模型，拒绝采样与接受率，典型实现（Medusa、Eagle）。
投机Medusa
09
模型剪枝
结构化剪枝与非结构化剪枝，剪枝后的微调恢复，NVIDIA 的稀疏化方案。
剪枝稀疏
10
知识蒸馏
软标签与硬标签，蒸馏温度（Temperature），蒸馏在加速中的应用。
蒸馏温度
11
FlashAttention 原理
标准 Attention 的显存瓶颈，FlashAttention 的 tiling 策略，IO 感知算法。
AttentionIO
12
FlashAttention 变体
FlashAttention-2 的改进，FlashDecoding 与解码优化，Block-Sparse Attention。
变体稀疏
13
算子融合（Kernel Fusion）
Fused Kernel 的概念，LayerNorm + Attention 融合，GELU + 矩阵乘融合。
融合Kernel
14
CUDA Graph 优化
CUDA Graph 原理，减少 Kernel Launch 开销，在推理引擎中的应用。
CUDAGraph
15
TensorRT-LLM 框架
TensorRT-LLM 架构，模型导出与构建，插件系统与自定义算子。
TensorRT插件
16
vLLM 框架详解
vLLM 架构与核心组件，Scheduler 与 Block Manager，与 HuggingFace 的集成。
vLLM调度
17
推理引擎对比
TensorRT-LLM vs vLLM vs TGI vs llama.cpp，性能与易用性权衡。
对比引擎
18
模型并行策略
张量并行（Tensor Parallelism），流水线并行（Pipeline Parallelism），序列并行（Sequence Parallelism）。
并行TP
19
专家并行（Expert Parallelism）
MoE 模型的特点，专家负载均衡，DeepSpeed-MoE 方案。
MoEDeepSpeed
20
CPU Offloading
CPU 与 GPU 的异构计算，Offloading 策略（Layer-wise、Tensor-wise），FlexGen 方案。
Offload异构
21
前缀缓存（Prefix Caching）
共享前缀的复用，RadixAttention 原理，SGLang 框架。
前缀SGLang
22
推测解码进阶
并行推测解码，树形注意力（Tree Attention），Lookahead Decoding。
推测树形
23
稀疏注意力（Sparse Attention）
局部注意力与全局注意力，Longformer 与 BigBird 方案，滑动窗口注意力。
稀疏Longformer
24
低秩分解（Low-Rank Decomposition）
SVD 分解原理，LoRA 与推理加速的关系，分解后的精度恢复。
低秩LoRA
25
硬件加速特性
NVIDIA Tensor Core 使用，FP8 与 FP4 精度支持，Hopper 架构的 Transformer Engine。
硬件Tensor Core
26
推理服务部署
模型服务化（Triton Inference Server），动态批处理与请求排队，负载均衡策略。
部署Triton
27
性能分析与调优
Profiling 工具（Nsight Systems、PyTorch Profiler），瓶颈定位方法，常见优化路径。
Profiling调优
28
多模态模型加速
视觉语言模型（VLM）的推理特点，视觉编码器的加速，跨模态 KV Cache 管理。
多模态VLM
29
边缘端推理加速
模型压缩与轻量化，ONNX Runtime 与 CoreML，移动端部署实践。
边缘ONNX
30
未来趋势与总结
推理加速的演进方向，硬件与算法的协同设计，课程总结与学习路径建议。
趋势总结