3、训练后量化（PTQ）概述：PTQ流程、与QAT对比、PTQ的优势与挑战、常见PTQ方法（RTN、GPTQ、AWQ等）

训练后量化（Post-Training Quantization，PTQ）是当前大模型与边缘端部署中最主流的模型压缩手段之一。它不需要重新训练模型，而是直接对已训练好的浮点权重和激活值进行低比特映射（如INT8、INT4），从而显著降低模型体积、内存带宽和推理延迟。与量化感知训练（QAT）相比，PTQ在工程落地中具有“零训练成本、快速迭代、无需原始训练数据”的突出优势，但也面临着精度损失、离群值敏感、校准集代表性不足等挑战。本章将系统梳理PTQ的完整流程、与QAT的对比、核心优势与挑战，并深入拆解RTN、GPTQ、AWQ三种主流方法的原理与适用场景。

PTQ 方法全景图：流程、对比与主流算法 PTQ 标准流程 ① 加载预训练浮点模型 ② 准备校准集（数百~数千样本） ③ 逐层/逐模块统计激活分布 ④ 计算量化参数（scale/zero-point） ⑤ 权重与激活转换（FP16→INT8） ⑥ 推理验证（精度/延迟/内存） ⑦ 不达标则调整校准集或算法 关键：校准集需覆盖真实数据分布 避免过拟合到校准集 PTQ vs QAT 对比 PTQ 无需训练，分钟级完成 需少量校准数据 QAT 需重新训练，数天~数周 需完整训练数据 精度表现 • W8A8：PTQ≈QAT（差距<0.5%） • W4A16：PTQ精度下降1-3% • W4A4：PTQ需算法补偿，QAT更稳 适用场景 PTQ：快速部署、边缘设备、大模型 QAT：精度敏感、小模型、长期迭代 混合：PTQ初版 + QAT微调关键层 主流 PTQ 方法 RTN（最简基线） • 四舍五入到最近整数 • 零成本，适合大模型粗量化 GPTQ（误差补偿） • 基于二阶信息逐层补偿 • 适合INT4/INT3极低比特 AWQ（激活感知） • 按激活重要性缩放权重 • 无需重训，保护敏感通道 选择依据：比特数、模型规模、 精度要求、硬件支持、部署周期

3.1 PTQ核心流程：从浮点模型到低比特推理

PTQ的工程实现通常遵循“加载模型→准备校准集→统计分布→计算量化参数→转换模型→验证迭代”的闭环流程。整个流程的核心目标是在不更新权重的前提下，找到一组最优的量化参数（scale和zero-point），使得量化后的模型在目标数据集上的精度损失最小。

3.1.1 校准集的构建与选择

校准集是PTQ中最关键的输入之一。它通常从训练集或真实推理数据中随机抽取200~1000个样本，用于统计每一层激活值的分布范围。校准集的质量直接决定了量化参数的合理性。理想情况下，校准集应覆盖模型推理时可能遇到的各种输入模式，包括边界情况、噪声样本和典型样本。如果校准集过于单一（例如全部来自同一类别），量化参数会偏向该分布，导致模型在其他输入上精度骤降。

校准集构建要点：
  • 样本数量：一般建议至少256个样本，复杂任务（如目标检测）建议512~1024个。
  • 多样性：覆盖不同类别、不同光照/噪声条件、不同语义场景。
  • 来源：优先使用真实推理数据；若无，则从训练集中随机抽样。
  • 预处理一致性：校准集必须与训练时的预处理流程完全一致（归一化、裁剪、通道顺序等）。

3.1.2 量化参数的计算与优化

对于每一层，PTQ需要确定权重和激活的量化范围。权重的分布通常相对稳定，可以直接使用min/max或百分位数确定范围；而激活的分布会随输入变化，需要在校准集上统计。常见的范围选择方法包括：MinMax（简单但易受离群值影响）、Percentile（截断极端值）、KL散度（最小化信息损失，TensorRT常用）、MSE（最小化量化误差）。

# 伪代码：校准集上的激活范围统计
for layer in model.layers:
    activations = []
    for sample in calibration_set:
        output = layer.forward(sample)
        activations.append(output)
    # 使用百分位数截断离群值
    scale = percentile(activations, 99.9) / 127.0
    zero_point = 0  # 对称量化时
    layer.quantize(scale, zero_point)

3.1.3 量化误差的评估与迭代

量化完成后，需要在验证集上对比浮点模型与量化模型的输出差异。常用的指标包括：Top-1/Top-5准确率变化、余弦相似度、KL散度等。如果精度损失超过阈值（例如>1%），则需要调整校准集、更换量化方法或对敏感层进行混合精度处理。

常见误区：不要只依赖校准集上的精度评估。校准集用于计算量化参数，如果用它评估量化效果，会得到过于乐观的结果。必须使用独立的验证集或测试集。

3.2 PTQ与QAT的全面对比：何时选择PTQ？

量化感知训练（QAT）在训练过程中模拟量化误差，让模型自适应地调整权重以减小量化损失。PTQ则完全跳过训练阶段。两者的选择取决于项目的时间预算、数据可用性、精度要求和部署周期。

对比维度 PTQ（训练后量化） QAT（量化感知训练）
训练成本 无训练，仅需推理校准 需完整训练或微调
所需数据 少量无标签校准数据（数百） 大量有标签训练数据
时间开销 分钟~小时级 天~周级
精度表现（W8A8） 接近浮点（损失<0.5%） 几乎无损
精度表现（W4A16） 损失1~3%，需算法优化 损失<1%
硬件适配 需支持INT8/INT4指令集 训练框架需支持伪量化
适用场景 大模型（7B+）、快速迭代、边缘部署 小模型、精度敏感、长期维护
实战建议：对于70B级别的大语言模型，QAT几乎不可行（需要大量GPU资源和训练数据），PTQ是唯一现实的选择。对于MobileNet等小模型，如果INT8精度损失超过2%，建议改用QAT。

3.3 PTQ的优势与挑战：为什么它成为大模型部署的首选？

PTQ之所以在LLM时代占据主导地位，核心原因在于其“零训练”特性。以LLaMA-7B为例，使用GPTQ进行INT4量化，在单张A100上仅需约30分钟即可完成，而QAT则需要数百张GPU训练数周。此外，PTQ不需要访问原始训练数据，这对于数据隐私敏感的场景（如医疗、金融）至关重要。

3.3.1 核心优势

  • 部署速度快：从浮点模型到INT4模型，通常只需数小时。
  • 数据需求低：数百个无标签样本即可完成校准。
  • 无需训练基础设施：不需要GPU训练集群，普通推理服务器即可完成。
  • 模型通用性强：适用于任何已训练好的模型，包括无法获取训练数据的第三方模型。

3.3.2 主要挑战

  • 离群值敏感：激活中的极端值会拉大量化范围，导致普通值精度下降。
  • 低比特精度瓶颈：INT4量化时，权重分布的不均匀性会导致显著误差。
  • 校准集代表性：如果校准集与真实推理分布偏差大，量化参数会失真。
  • 硬件支持差异：不同硬件（GPU/CPU/NPU）对量化格式的支持不同，需针对性优化。
风险提示：PTQ的精度损失并非均匀分布。某些层（如注意力层的QKV投影）对量化极为敏感，可能贡献80%以上的误差。建议使用逐层敏感度分析定位这些关键层，并对其采用更高精度（如FP16）或混合精度策略。

3.4 常见PTQ方法深度拆解：RTN、GPTQ、AWQ

当前主流的PTQ方法可归为三类：最简基线RTN、基于误差补偿的GPTQ、基于激活感知的AWQ。三者的核心区别在于如何处理量化误差——是直接舍入、逐层补偿，还是按重要性加权保护。

3.4.1 RTN（Round-to-Nearest）：最简基线

RTN是最朴素的量化方法，直接将浮点权重四舍五入到最近的量化整数。它不需要任何校准数据，计算成本为零。对于8比特量化，RTN通常能保持较好的精度；但对于4比特及以下，RTN的误差会显著增大，因为权重分布中的离群值会被强行映射到有限的整数网格上。

# RTN 伪代码
def rtn_quantize(weight, bits=4):
    qmin, qmax = 0, 2**bits - 1
    scale = (weight.max() - weight.min()) / (qmax - qmin)
    zero_point = qmin - weight.min() / scale
    q_weight = torch.clamp(torch.round(weight / scale + zero_point), qmin, qmax)
    return q_weight, scale, zero_point
适用场景：RTN适合作为精度基线。当RTN的精度损失可接受时（通常W8A8），无需使用更复杂的方法。对于大模型（>13B），RTN在W4A16下也能保持可用精度，因为模型参数量大，冗余度高。

3.4.2 GPTQ（Gradient-based Post-Training Quantization）：二阶误差补偿

GPTQ基于OBS（Optimal Brain Surgeon）思想，逐层最小化量化后的权重误差。它利用Hessian矩阵（二阶导数）来估计每个权重的重要性，并在量化过程中动态调整剩余权重以补偿已量化权重引入的误差。GPTQ的核心优势在于：它不需要梯度回传，只需前向传播和矩阵运算，因此可以高效处理数十亿参数的模型。

GPTQ关键步骤 说明
1. 逐层处理 对每个Transformer层独立量化，避免误差跨层累积
2. 计算Hessian 基于校准集激活值计算 H = X·X^T
3. 贪心量化 按列量化权重，每量化一列后更新剩余列的补偿值
4. 反量化更新 使用Hessian逆矩阵计算补偿量，最小化整体误差
实战经验：GPTQ在INT4量化中表现优异，但需要注意两点：一是校准集大小建议128~256，过少会导致Hessian估计不准；二是Hessian计算需要存储矩阵，对于超大模型（>30B）需使用分块处理。

3.4.3 AWQ（Activation-aware Weight Quantization）：保护敏感通道

AWQ的核心洞察是：并非所有权重通道对量化误差同等敏感。通过分析激活分布，可以识别出那些激活值较大的通道（即“显著通道”），这些通道对应的权重需要更精细的量化。AWQ不直接对这些通道使用更高精度，而是通过一个缩放因子放大这些通道的权重，从而在量化时保留更多信息。

# AWQ 核心思想：按激活重要性缩放权重
# 1. 统计每个通道的激活幅度
activation_scale = torch.mean(abs(activations), dim=0)
# 2. 识别显著通道（激活幅度大于阈值）
significant_channels = activation_scale > percentile(activation_scale, 99)
# 3. 对显著通道的权重乘以缩放因子 s > 1
weight[significant_channels] *= s
# 4. 量化后再除以 s 恢复
注意事项：AWQ的缩放因子s需要在校准集上搜索最优值（通常为2的幂次），搜索范围一般为[1, 8]。s过大会导致非显著通道的量化误差增大，s过小则无法有效保护显著通道。实际应用中，s=2通常能取得较好的平衡。

3.5 方法选型与实战案例：以LLaMA-7B INT4量化为例

假设我们需要将LLaMA-7B部署到边缘设备（如Jetson Orin），目标是将模型从FP16（约14GB）压缩到INT4（约3.5GB），同时保持下游任务（如文本生成）的困惑度（Perplexity）损失不超过1.0。

3.5.1 初始现象与目标

  • 硬件约束：Jetson Orin 32GB内存，需同时运行模型和推理框架。
  • 精度目标：在Wikitext-2验证集上，量化后PPL ≤ 6.5（FP16基线为5.8）。
  • 延迟要求：单次生成延迟 < 50ms/token。

3.5.2 方法选择与实施

  1. 基线测试：先使用RTN进行W4A16量化，测得PPL=8.2，超出目标。
  2. 升级到GPTQ：使用128个校准样本，Hessian分块大小为128，量化后PPL=6.1，满足精度目标。
  3. AWQ对比：使用AWQ（缩放因子s=2），PPL=6.3，略逊于GPTQ但无需Hessian计算，速度更快。
  4. 混合策略：对注意力层的QKV投影使用GPTQ，对FFN层使用RTN，最终PPL=6.0，且量化时间减少30%。

3.5.3 结果与复盘

方法 PPL（↓更好） 量化耗时 显存占用 备注
FP16基线 5.8 - 14GB 参考
RTN W4A16 8.2 5分钟 3.5GB 精度不达标
GPTQ W4A16 6.1 35分钟 3.5GB 满足目标
AWQ W4A16 6.3 20分钟 3.5GB 速度更快
混合（GPTQ+RTN） 6.0 25分钟 3.5GB 最优平衡
复盘经验：（1）RTN作为快速基线非常有效，能快速判断模型对量化的敏感度；（2）GPTQ在精度上略优于AWQ，但AWQ的无需校准数据特性在数据受限时更有价值；（3）混合精度策略能有效降低量化时间，但需要逐层敏感度分析的支持。

3.6 常见误区与总结

PTQ虽然看似简单，但在实际工程中容易陷入以下误区：

  • 误区一：校准集越大越好。实际上，超过1000个样本后，量化参数趋于稳定，继续增加样本只会增加计算开销。
  • 误区二：所有层都使用相同的量化配置。不同层对量化的敏感度差异巨大，应优先保护敏感层。
  • 误区三：忽略硬件特性。某些硬件支持混合精度（如INT8+FP16），而有些硬件只支持对称量化，需提前确认。
  • 误区四：只关注权重量化，忽略激活量化。激活的分布更动态，往往比权重更难量化。
总结：PTQ是当前大模型部署的“第一选择”，其核心在于校准集的质量和量化算法的选择。RTN适合快速验证，GPTQ适合追求极致精度，AWQ适合数据受限场景。实际项目中，建议先跑RTN基线，再根据精度差距选择GPTQ或AWQ，最后通过逐层敏感度分析进行混合精度优化。
← 上一章 📖 返回目录 下一章 →