3、推理优化技术概览：量化、投机解码、连续批处理、PagedAttention与算子融合

大语言模型（LLM）推理引擎的优劣，直接决定了生产环境中的吞吐量、延迟与单位成本。在模型权重与KV Cache规模持续增长的背景下，单纯依赖硬件算力提升已无法满足规模化部署需求。本章系统梳理五类核心优化手段——量化（INT8/INT4/FP8）、投机解码、连续批处理、PagedAttention与算子融合，从原理、实现路径到工程取舍进行深度拆解，帮助读者建立推理优化的全局视图。

3.1 量化：精度与性能的博弈

核心原理

量化是将模型权重和激活值从高精度浮点（FP16/BF16）映射到低精度整数或低比特浮点（INT8/INT4/FP8）的过程。其本质是利用神经网络对噪声的鲁棒性，用更少的比特位表示数值分布，从而减少显存占用和内存带宽压力。以LLaMA-7B为例，FP16权重占用约14GB显存，而INT4量化后仅需约3.5GB，这使得单张A10G（24GB）即可部署原本需要A100（80GB）的模型。

量化的核心挑战在于如何最小化精度损失。当前主流方案分为训练后量化（PTQ）和量化感知训练（QAT）。PTQ无需重新训练，通过校准数据集统计激活值分布，确定缩放因子（Scale）和零点（Zero Point）；QAT则在训练过程中模拟量化误差，让模型自适应低比特表示，精度更高但成本显著。

INT8/INT4/FP8的选型判断

FP8相比INT8的优势在于其浮点表示保留了更大的动态范围，对激活值中异常大值更鲁棒。但FP8需要H100、L40S等新一代硬件支持，且当前生态成熟度略逊于INT8。

案例拆解： vs AWQ 的实战选择

某智能客服团队需将13B模型部署到4张RTX 4090（24GB）上，目标并发32路。初始FP16方案显存占用约26GB，单卡无法容纳。团队评估两种INT4方案：

• ：基于二阶信息（Hessian矩阵）逐层量化，校准时间约1小时，量化后模型在CMMLU基准上损失约3.2%。
• AWQ：基于激活值感知的权重缩放，仅需少量校准数据（128条），量化后损失约2.1%，且无需重排权重。

实测推理性能：AWQ在批量推理场景下吞吐量比高约8%，因为AWQ保留了更重要的权重通道精度。最终团队选择AWQ，单卡部署成功，首延迟从FP16的850ms降至620ms（提升27%），吞吐量从12 tokens/s提升至28 tokens/s。

3.2 投机解码：以小博大的解码加速

核心原理

投机解码（Speculative Decoding）利用“小模型草稿+大模型验证”的范式打破自回归解码的串行瓶颈。其核心洞察是：大模型生成的许多是“显而易见”的，小模型可以快速预测这些，大模型只需并行验证。若验证通过，一次前向传播即可产出多个，将解码步数从N降至N/K（K为平均接受长度）。

实现流程：① 草稿模型（Draft Model）自回归生成K个候选；② 大模型（Target Model）对这K个进行单次前向传播，并行计算概率分布；③ 逐位置对比草稿与大模型的概率，若一致则接受，否则从分歧点重新采样。典型接受率在0.6-0.8之间，实际加速比可达2-3倍。

操作流程与关键参数

1. 草稿模型选择：通常为同系列的小模型（如LLaMA-68M草稿LLaMA-7B），或使用N-gram检索模型。草稿模型参数量为目标模型的1/50至1/100。
2. 草稿长度K设定：K过小加速有限，K过大则草稿错误率上升。经验值K=4-8，需根据任务类型微调。
3. 接受率监控：通过日志记录每步接受数，若接受率低于0.5，应减小K或更换草稿模型。

# vLLM投机解码配置示例
--speculative-model "llama-68m" \
--num-speculative-tokens 5 \
--speculative-max-model-len 2048

实战场景与局限

某代码生成服务使用DeepSeek-Coder-6.7B作为目标模型，配合DeepSeek-Coder-1.3B草稿模型，在HumanEval基准上接受率达0.72，端到端加速2.1倍。但需注意：投机解码在批处理场景下收益递减，因为大模型验证时需处理所有请求的草稿，计算量随batch size线性增长。当batch size大于32时，建议关闭投机解码，改用连续批处理优化。

3.3 连续批处理与PagedAttention：吞吐量双引擎

核心原理

传统静态批处理（Static Batching）需等待批次中最慢的请求完成后才释放资源，导致大量GPU空闲。连续批处理（Continuous Batching）在级别动态调度：每个请求的prefill阶段完成后立即进入decode阶段，新请求可随时插入空闲slot。这使得GPU利用率从60%提升至90%以上。

PagedAttention则解决KV Cache的显存碎片问题。传统方案为每个请求预分配最大长度的连续显存，实际利用率仅20-40%。PagedAttention将KV Cache划分为固定大小的块（Block，通常16或32个），按需分配，类似操作系统的虚拟内存分页。这消除了内部碎片，支持更长上下文和更大并发。

工程实现对比

案例拆解：vLLM的工程实践

某AI写作平台部署LLaMA-3-8B，原使用TensorRT-LLM静态批处理，峰值并发16路，平均吞吐量380 tokens/s。迁移至vLLM（连续批处理+PagedAttention）后：

• 并发数提升至64路（4倍），吞吐量达1250 tokens/s（3.3倍）
• 显存占用从4×24GB降至2×24GB，节省硬件成本50%
• P50首延迟从1.2s降至0.8s，P99从3.5s降至2.1s

关键调优参数：--max-num-seqs控制最大并发序列数（设为64），--gpu-memory-utilization设为0.92（预留8%显存给CUDA context），--block-size设为16（短请求多时用8，长上下文用32）。

3.4 算子融合：减少Kernel Launch开销

核心原理

深度学习模型由大量细粒度算子（Kernel）组成，每个Kernel的启动开销（Launch Overhead）约5-10微秒。当模型包含数百个算子时，累计开销可达毫秒级。算子融合将多个连续算子合并为单个Kernel，减少显存读写次数和启动开销。典型融合模式包括：

• QKV融合：将Query/Key/Value三个线性层合并为一个大矩阵乘法
• 激活+残差融合：将GELU/SiLU激活函数与残差连接合并到上一个算子中
• LayerNorm+线性层融合：减少中间张量的显存写回
• FlashAttention：将Attention的QK^T、Softmax、AV计算融合，避免中间矩阵的显存往返

实现方式与工具链

主流推理引擎通过Triton、CUDA Graph或预编译Kernel实现融合。CUDA Graph将整个模型捕获为单个图，消除所有Kernel启动开销，对短序列（如<128 tokens）加速比可达1.5-2倍。Triton则提供Pythonic的DSL，允许开发者自定义融合Kernel，兼顾灵活性与性能。

# Triton融合示例：QKV投影+残差
@triton.jit
def fused_qkv_residual_kernel(...):
    # 单次Kernel完成QKV计算与残差相加
    q = tl.dot(x, Wq) + bq + residual
    k = tl.dot(x, Wk) + bk + residual
    v = tl.dot(x, Wv) + bv + residual

常见误区与调优建议

调优建议：优先融合访存密集型算子（如LayerNorm、Residual），而非计算密集型算子（如GEMM）。GEMM本身已高度优化，融合收益有限。对于batch size大于64的场景，算子融合收益会被计算时间掩盖，此时应关注连续批处理优化。

3.5 优化技术协同与选型策略

技术组合矩阵

选型决策流程

1. 明确瓶颈：通过nvidia-smi和Nsight Systems判断是显存瓶颈、计算瓶颈还是延迟瓶颈。
2. 显存瓶颈：优先量化（INT8→INT4），再考虑PagedAttention优化KV Cache。
3. 计算瓶颈：优先算子融合，其次投机解码（若接受率>0.6）。
4. 延迟瓶颈：优先CUDA Graph+算子融合，减少Kernel启动。
5. 吞吐瓶颈：优先连续批处理，配合PagedAttention提升并发。

案例复盘：多技术协同的完整实践

某金融AI公司需将70B模型部署到8×A100（80GB）集群，服务200路并发查询，目标P95延迟<3s。初始方案（FP16+静态批处理）仅支持32路并发，P95延迟5.2s。经过三轮优化：

• 第一轮：启用连续批处理+PagedAttention，并发提升至96路，P95降至3.8s，但显存接近上限。
• 第二轮：权重INT8量化（精度损失0.8%），显存释放30%，并发提升至160路，P95降至2.9s。
• 第三轮：引入投机解码（草稿模型为7B），接受率0.65，P95进一步降至2.1s，吞吐量达4200 tokens/s。

最终方案在满足SLA的同时，硬件成本较初始方案降低40%。复盘关键：量化释放的显存为连续批处理提供了更大并发空间，而投机解码在低batch时段的加速效果尤为明显，形成了互补效应。