视频预测基础：视频数据表示、帧序列建模与评估体系
视频预测（Video Prediction）是生成式世界模型的核心能力之一，其目标是在给定历史帧序列的条件下，预测未来若干帧的像素级内容。与单帧图像生成不同，视频预测必须同时处理空间结构（图像内容）与时间动态（运动与变化），这使得任务定义、数据表示和评估指标都呈现出独特的复杂性。本章将系统梳理视频预测的底层基础，从数据张量的组织方式出发，逐步深入到帧序列建模的数学表述、时空相关性的解耦策略，并最终建立一套完整的任务定义与评估指标体系。理解这些基础概念，是后续设计世界模型架构、选择训练策略和诊断模型失效模式的必要前提。
视频数据的张量表示与预处理
视频在计算机中并非以离散的“图像序列”存储，而是以连续的多维张量形式存在。一个典型的视频片段可表示为 T×C×H×W 的四维张量，其中 T 为帧数（时间维度），C 为通道数（通常为 RGB 三通道），H 和 W 分别为高度和宽度。这种表示方式直接决定了模型输入层的设计：3D卷积核在时间维度上的滑动、Transformer中时间步的嵌入、以及循环神经网络中隐藏状态在帧间的传递，都依赖于这一基础张量结构。
在实际工程中，原始视频数据往往需要经过一系列预处理才能送入模型。首先是帧采样：对于长视频，通常采用均匀采样或随机裁剪时间窗口的方式，将连续帧序列截取为固定长度（如 4、8 或 16 帧）。采样间隔的选择直接影响模型对运动速度的感知——间隔过大会导致运动不连续，过小则信息冗余。其次是空间归一化：将像素值从 [0, 255] 缩放到 [-1, 1] 或 [0, 1]，这有助于稳定训练过程。此外，对于特定任务，可能还需要计算光流图（Optical Flow）作为额外输入通道，或者将 RGB 转换为灰度图以降低计算复杂度。
帧序列建模：从自回归到隐空间状态转移
帧序列建模的核心问题是如何利用历史帧的信息来预测未来帧。根据建模粒度的不同，主要分为两类方法：像素空间自回归与隐空间状态转移。
像素空间自回归方法直接对原始像素序列建模，典型代表是 Video Transformer 和 ConvLSTM。这类方法将每一帧视为一个时间步的输入，通过循环结构或注意力机制逐步生成未来帧。其优点是实现直观、易于调试，但缺点是计算开销巨大——每一帧的生成都需要完整的编解码过程，且长序列下误差会逐步累积。
隐空间状态转移方法则先将视频帧编码为低维隐向量，在隐空间中执行时序建模，最后通过解码器重建像素帧。这类方法以 Stochastic Video Generation (SVG) 和 Video Diffusion Models 为代表。其优势在于：隐空间维度远低于像素空间，使得模型能够更高效地捕捉全局运动模式；同时，隐空间中的状态转移可以引入随机噪声，从而生成多样化的未来帧，这对于处理不确定性（如遮挡、物体出现/消失）至关重要。
| 建模方式 | 代表模型 | 优势 | 劣势 | 适用场景 |
|---|---|---|---|---|
| 像素空间自回归 | ConvLSTM, Video Transformer | 实现简单，可解释性强 | 计算量大，长序列误差累积 | 短时预测（≤5帧），实时性要求高 |
| 隐空间状态转移 | SVG, Video Diffusion | 高效捕捉全局运动，支持多样生成 | 训练复杂，需要额外编解码器 | 中长期预测，需要处理不确定性 |
| 混合方法 | MCVD, FitVid | 兼顾像素细节与全局一致性 | 架构复杂，调参难度高 | 高分辨率视频预测，复杂动态场景 |
时空相关性的解耦与建模
视频数据同时包含空间结构信息（纹理、边缘、物体形状）与时间动态信息（运动轨迹、速度、加速度）。有效的视频预测模型必须能够解耦并分别建模这两种相关性。
空间相关性体现在单帧图像内部像素之间的依赖关系。卷积神经网络天然擅长捕捉这种局部空间模式，而 Transformer 中的自注意力机制则能建模长距离空间依赖。在视频预测中，空间特征提取通常由编码器完成，其输出是一个包含丰富语义信息的特征图。
时间相关性则体现在帧与帧之间的运动规律。常见建模方式包括：
- 光流约束：显式计算相邻帧之间的光流场，并将其作为中间监督信号或输入特征，引导模型学习运动模式。
- 循环状态传递：通过 LSTM/GRU 的隐藏状态在时间步之间传递信息，使模型具备记忆能力。
- 3D 卷积：在时间维度上执行卷积操作，直接学习时空联合特征，但参数量较大。
- 分解式注意力：将时空注意力分解为空间注意力和时间注意力两个阶段，降低计算复杂度。
在实际应用中，时空相关性往往交织在一起。例如，一个旋转的物体，其表面纹理在空间上移动，同时形状在时间上变化。因此，现代模型通常采用多尺度时空特征融合策略：在低层特征中保留高分辨率空间细节，在高层特征中捕捉全局运动趋势，再通过解码器逐步融合。
视频预测任务定义与评估指标
视频预测任务可以形式化定义为：给定历史帧序列 x1:T，预测未来帧 xT+1:T+K。根据预测长度的不同，可分为短时预测（1-5帧）、中期预测（5-15帧）和长期预测（>15帧）。任务的核心挑战在于：未来帧存在固有的不确定性，同一历史可能对应多种合理的未来演化路径。
评估指标是衡量预测质量的关键工具，不同指标从不同角度刻画了预测结果与真实帧之间的差异：
- MSE（均方误差）：逐像素计算预测值与真实值的平方差均值。MSE 对像素级误差敏感，但无法反映感知质量——两张视觉上几乎相同的图像可能因轻微平移而产生较大 MSE。
- SSIM（结构相似性）：从亮度、对比度和结构三个维度比较两幅图像的相似性，取值范围 [-1, 1]，越接近 1 表示越相似。SSIM 更符合人类视觉感知，但对运动模糊和纹理细节变化不够敏感。
- LPIPS（学习感知图像块相似度）：基于深度网络（如 VGG）提取的特征图计算感知距离。LPIPS 与人类主观评价高度相关，能够捕捉到 MSE 和 SSIM 无法反映的语义差异。
| 指标 | 计算方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| MSE | 逐像素平方差均值 | 计算简单，可微 | 忽略感知质量，对平移敏感 | 训练损失函数，快速验证 |
| SSIM | 亮度/对比度/结构比较 | 符合人类视觉，对光照鲁棒 | 对纹理细节不敏感 | 图像质量评估，模型筛选 |
| LPIPS | 深度特征图距离 | 与主观评价高度相关 | 计算开销大，依赖预训练网络 | 最终效果评估，感知质量对比 |
案例拆解：自动驾驶场景下的视频预测评估
为了更直观地理解上述概念，我们以自动驾驶场景中的前方道路视频预测为例进行说明。假设车载摄像头以 10Hz 的频率采集图像，我们需要根据过去 1 秒（10帧）的画面预测未来 0.5 秒（5帧）的道路情况。
初始现象与目标：模型在测试集上 MSE 达到 0.0021，看似很低，但实际生成的视频存在严重的“模糊化”问题——车辆边缘不清晰，行人轮廓模糊。这说明 MSE 指标无法反映感知质量。
分析判断过程：我们进一步计算 SSIM 和 LPIPS。SSIM 为 0.87，尚可接受；但 LPIPS 高达 0.35（越低越好），明显异常。通过逐帧对比发现，模型在预测快速移动的物体（如对向车辆）时，倾向于生成“平均化”的模糊图像，而非清晰的运动轨迹。
实际操作步骤：
- 将预测结果与真实帧对齐，逐帧计算 LPIPS，定位误差最大的时间步。
- 分析误差来源：发现第 3 帧之后误差急剧上升，对应场景中有一辆自行车从侧面切入。
- 检查模型输入：确认历史帧中自行车仅出现 2 帧，信息不足导致预测失败。
- 调整策略：将输入帧数从 10 帧增加到 15 帧，并引入光流作为辅助输入。
结果对比：调整后，LPIPS 从 0.35 降至 0.21，SSIM 提升至 0.92，MSE 降至 0.0018。更重要的是，生成视频中自行车的运动轨迹变得清晰连贯。
风险与代价：增加输入帧数导致计算量上升约 30%，推理延迟从 45ms 增加到 60ms，但仍满足实时性要求（<100ms）。
复盘经验：单一指标（MSE）容易掩盖感知质量问题，必须结合 SSIM 和 LPIPS 进行多维度评估。同时，视频预测的失败往往源于历史信息不足，而非模型能力不够——在数据采集阶段应确保足够的帧率和覆盖场景。
总结与复盘
本章建立了视频预测的基础框架：从 T×C×H×W 张量表示出发，理解了帧序列建模的两种主要范式（像素空间自回归与隐空间状态转移），掌握了时空相关性解耦的核心思想，并系统学习了 MSE、SSIM、LPIPS 三种评估指标的适用场景与局限性。在实际项目中，建议采用“MSE 作为训练损失 + SSIM 用于快速筛选 + LPIPS 用于最终评估”的组合策略。同时，要时刻警惕指标与感知质量之间的鸿沟——一个优秀的视频预测模型，不仅要在数值上表现良好，更要在视觉上生成清晰、连贯、符合物理规律的未来帧。