推理加速核心概念：延迟、吞吐量、显存占用、计算量（FLOPs）、内存带宽、KV Cache

世界模型推理优化与传统的CNN分类模型优化有显著差异。世界模型通常包含视觉编码器、时序状态空间、动作决策头，且推理过程是自回归、多模态、长序列的。在动手优化之前，必须建立一套统一的度量体系。本章将围绕六个核心指标——延迟、吞吐量、显存占用、FLOPs、内存带宽、KV Cache——展开，明确它们的定义、测量方法、相互制约关系，以及在世界模型推理场景下的特殊含义。只有先建立可量化的基准，后续的算子融合、量化、投机采样、并行策略才有判断依据。

上图展示了六个核心指标之间的基本关系。在实际优化中，它们并非独立变量，而是相互牵制：降低延迟往往牺牲吞吐量，增大Batch提升吞吐量又受限于显存容量，而FLOPs与内存带宽的比值决定了当前硬件上的理论最优性能边界。下面逐一深入拆解。

3.1 延迟（Latency）与吞吐量（Throughput）

核心原理

延迟衡量单个请求从发出到返回完整结果的总耗时，通常拆分为首Token延迟（TTFT, Time To First Token）和每Token生成延迟（TPOT, Time Per Output Token）。对于世界模型，首Token延迟包含视觉编码、状态初始化、动作解码的串行开销；而TPOT则反映自回归生成阶段每一步的耗时。延迟是用户体验的直接指标，尤其在实时交互场景（如机器人控制、自动驾驶决策）中，超过100ms的延迟可能导致系统失控。

吞吐量衡量系统在单位时间内处理的Token总数或请求总数，常用Tokens/s或Requests/s表示。吞吐量反映系统的整体利用效率，与Batch Size、并发数、硬件算力直接相关。高吞吐量意味着单位成本下处理更多任务，适合离线批量推理或高并发服务。

测量方法

1. TTFT测量：在客户端记录请求发出时间戳，收到第一个Token的时间戳，差值即为TTFT。需排除网络传输抖动，建议在服务端打点。
2. TPOT测量：记录生成第N个Token与第N+1个Token之间的时间间隔，取多次平均值。对于流式输出，可通过日志时间戳计算。
3. 吞吐量测量：固定并发数（如32路请求），持续压测60秒，统计总生成Token数除以总时间。注意区分生成吞吐与请求吞吐。

# 服务端日志示例（结构化输出）
{"event":"token_generated","request_id":"req_001","token_idx":5,"timestamp":1710000000.123}
{"event":"token_generated","request_id":"req_001","token_idx":6,"timestamp":1710000000.145}
# TPOT = (0.145 - 0.123) = 22ms

案例拆解：机器人实时决策场景

某轮式机器人使用世界模型进行路径规划，模型输入为8帧视觉图像（224×224），输出为连续动作序列。初始部署时，TTFT为180ms，TPOT为35ms，单次决策需生成20个动作Token，总延迟=180+35×20=880ms。机器人运动控制周期为500ms，导致决策滞后。通过分析火焰图发现，视觉编码器（ViT）占TTFT的70%，动作解码器自回归阶段受内存带宽限制。优化措施：将视觉编码器改为轻量级CNN（延迟降低40%），并对解码器使用INT8量化（TPOT降至22ms）。优化后总延迟=110+22×20=550ms，仍略超周期。进一步采用投机采样（Draft模型预测5个Token，验证通过后一次提交），实际TPOT降至8ms，总延迟降至270ms，满足实时性要求。

3.2 显存占用（Memory Footprint）

核心原理

显存占用分为三部分：模型权重、激活值（Activations）、KV Cache。世界模型通常包含多模态编码器（权重较大）和Transformer解码器。以7B参数模型为例，FP16权重占用14GB；激活值与Batch Size、序列长度成正比；KV Cache则随Batch Size × 序列长度 × 层数 × 头维度线性增长。显存是硬约束，决定了最大Batch Size和可处理的最大序列长度。

测量与分析方法

• 使用torch.cuda.max_memory_allocated()记录峰值显存。
• 使用nvidia-smi监控实时显存占用，区分模型权重与激活值。
• 通过逐层Hook（PyTorch register_forward_hook）统计每层激活值大小。

实战场景：Batch Size上限估算

假设GPU显存为80GB（A100），模型权重14GB，激活值预留4GB，剩余62GB可用于KV Cache。若序列长度为2048，层数32，头维度128，则每个请求的KV Cache = 2×1×2048×32×128×2 = 33.5MB。理论上最大Batch = 62GB / 33.5MB ≈ 1850，但实际受限于计算资源和延迟要求，通常取128-256。若使用PagedAttention（vLLM技术），可减少碎片化，提升有效Batch。

3.3 计算量（FLOPs）与内存带宽

核心原理

FLOPs（Floating Point Operations）衡量模型推理所需的浮点运算次数。对于Transformer解码器，每次生成一个Token的计算量约为 2 × 参数量 × Batch Size（前向传播）。世界模型的总FLOPs = 视觉编码FLOPs + 自回归生成FLOPs × 生成Token数。FLOPs是理论值，实际性能受硬件利用率影响。

内存带宽（Memory Bandwidth）指GPU在单位时间内从显存读取/写入数据的能力（GB/s）。自回归生成是内存密集型任务：每个Token的生成需要读取全部权重（如7B模型14GB），但计算量仅约14GFLOPs。在A100（带宽2TB/s，算力312TFLOPs）上，读取权重耗时14GB/2TB/s=7ms，而计算仅需14GFLOPs/312TFLOPs=0.045ms。因此内存带宽是主要瓶颈。

Roofline模型分析

计算强度（Arithmetic Intensity）= FLOPs / 字节数。当计算强度低于硬件拐点时，性能受带宽限制；高于拐点时，受算力限制。对于7B模型，计算强度=14GFLOPs/14GB≈1 FLOP/Byte，远低于A100的拐点（约156 FLOP/Byte），因此属于带宽受限。

# 估算单Token生成的理论耗时
weight_bytes = 14 * 1024**3  # 14GB
bandwidth = 2 * 1024**3      # 2TB/s
time_read = weight_bytes / bandwidth  # 约7ms
# 实际TPOT通常为10-20ms，因为还有激活值读写和计算开销

案例：量化如何提升带宽效率

将权重从FP16（2字节）量化为INT8（1字节），权重读取时间减半，TPOT理论上可降低40%-50%。某世界模型在A100上FP16的TPOT为18ms，INT8量化后降至10ms，但精度损失0.3%。通过混合精度量化（敏感层保留FP16）将精度损失控制在0.1%以内，TPOT为11ms。进一步使用权重共享（如GPTQ）可将权重压缩至4bit，TPOT降至7ms，但需评估模型稳定性。

3.4 KV Cache：自回归的隐形瓶颈

核心原理

KV Cache存储自回归过程中每个Token的Key和Value向量，用于避免重复计算。其大小 = 2 × Batch × Seq × 层数 × 头维度 × 精度字节数。世界模型处理长序列（如视频帧序列、多轮对话）时，KV Cache会迅速膨胀。例如，处理100帧视觉Token（每帧256 Token，共25600 Token），在7B模型（32层，头维度128）下，KV Cache = 2×1×25600×32×128×2 = 419MB，占显存比例显著。

测量与优化方法

• 通过model.get_kv_cache_size()或自定义Hook统计KV Cache实际占用。
• 使用GQA（Grouped Query Attention）减少KV头数量，KV Cache可降低至1/8。
• 使用KV Cache量化（如INT8）进一步压缩，但需注意精度损失。
• 采用滑动窗口或稀疏注意力，仅保留最近N个Token的KV，适合长序列流式处理。

案例：长视频理解场景的KV Cache优化

某世界模型需处理10秒视频（30FPS，每帧提取64个视觉Token，共19200 Token）。初始KV Cache占用314MB，导致Batch只能设为4。通过GQA（KV头从32降至4），KV Cache降至39MB，Batch提升至32，吞吐量提升8倍。但GQA导致精度下降0.5%，通过微调恢复至0.2%。进一步对KV Cache做INT8量化，占用降至20MB，但精度再降0.3%，最终采用混合精度：前16层KV用FP16，后16层用INT8，精度损失仅0.1%，Batch达到64。

3.5 指标联动与优化优先级

在实际项目中，建议先建立基准测试：在目标硬件上测量上述所有指标，绘制延迟-吞吐量曲线（不同Batch下的表现），再根据业务需求（实时性优先还是成本优先）选择优化路径。例如，离线视频理解任务可接受较高延迟，优先提升吞吐量；而自动驾驶决策必须严格保证延迟下限。