3、视频数据基础：视频数据的表示（RGB、光流、深度）、时空分辨率、帧率、压缩格式，以及数据增强策略（随机裁剪、时间翻转、色彩抖动）

视频预测模型的核心输入是视频数据，而视频数据在计算机中的表示方式、时空属性以及预处理策略，直接决定了模型能否有效学习到物理世界的动态规律。与单张图像不同，视频数据同时包含空间维度（画面内容）和时间维度（运动变化），这使得其数据表示、存储格式与增强策略都更为复杂。本章将系统梳理视频数据的多模态表示（RGB、光流、深度）、关键时空参数（分辨率、帧率）、主流压缩格式，以及针对视频预测任务的数据增强策略，为后续模型训练与部署打下坚实的数据基础。

3.1 视频数据的多模态表示

3.1.1 核心原理：从像素到运动与几何

视频预测模型需要理解场景中物体的外观、运动轨迹以及空间关系。单一模态往往难以完整表达这些信息，因此实际工程中常采用多模态输入。

• RGB表示：最基础的表示形式，每个像素由红、绿、蓝三个通道组成，取值范围通常为0-255。RGB保留了丰富的纹理、颜色和光照信息，是大多数视频预测模型的主要输入。但其对光照变化敏感，且不直接包含运动信息。
• 光流表示：描述相邻帧之间每个像素的运动矢量（水平位移u和垂直位移v）。光流图通常以两通道（u,v）或三通道（u,v,幅度）形式存储。它显式编码了物体的运动速度和方向，对于预测未来帧中的物体位移至关重要。常用算法包括Lucas-Kanade、Farnebäck以及基于深度学习的RAFT等。
• 深度表示：表示场景中每个像素到摄像机的距离，通常为单通道灰度图。深度信息有助于模型理解物体的三维结构和遮挡关系，尤其在涉及物理交互（如碰撞、堆叠）的预测任务中价值显著。获取方式包括RGB-D传感器（如Kinect）、立体视觉或单目深度估计网络。

3.1.2 判断方法：如何选择与组合模态

选择哪种模态取决于任务需求与计算资源。下表给出了不同模态的适用场景与权衡：

3.1.3 案例拆解：多模态融合的实战配置

假设我们要训练一个机器人抓取任务中的视频预测模型，输入为连续4帧RGB图像，输出为未来2帧的预测结果。初始模型仅使用RGB，预测的物体位置存在明显漂移。分析后发现，抓取场景中物体快速移动且存在遮挡。

操作步骤：

1. 使用预训练的RAFT模型离线提取光流，保存为两通道float16格式，与RGB帧对齐。
2. 将RGB（3通道）与光流（2通道）在通道维度拼接，形成5通道输入。
3. 调整模型第一层卷积的输入通道数为5，并适当增加BN层以稳定训练。
4. 训练时对光流进行幅度裁剪（限制最大速度），避免异常值干扰。

结果对比：引入光流后，预测帧的PSNR从28.3dB提升至31.1dB，物体位置误差降低约40%。代价是数据加载时间增加约30%，但通过预提取光流并缓存为numpy数组，整体训练吞吐量仅下降8%。

3.2 时空分辨率与帧率

3.2.1 核心原理：空间与时间的权衡

视频数据的时空分辨率决定了模型感知细节的粒度。空间分辨率（H×W）影响物体纹理和边缘的清晰度，时间分辨率（帧率FPS）影响运动变化的平滑度。两者共同决定了单帧数据量，进而影响显存占用和计算复杂度。

对于视频预测任务，并非分辨率越高越好。过高的空间分辨率会引入大量冗余纹理，增加计算负担；过高的帧率则可能导致相邻帧间运动幅度过小，模型难以学到有意义的动态特征。通常需要根据任务特性进行权衡。

3.2.2 判断方法：确定合适的采样策略

实际工程中，原始视频往往具有较高的分辨率和帧率（如1080p@30fps），直接训练不现实。以下为常用处理流程：

• 空间采样：将视频缩放至模型输入尺寸（如256×256或224×224）。对于视频预测，建议保持宽高比，采用中心裁剪或随机裁剪后再缩放。
• 时间采样：均匀抽取关键帧。例如，从30fps视频中每2帧取1帧，得到15fps的训练序列。对于运动较慢的场景，可适当降低采样率；对于快速运动，需保持较高帧率。
• 序列长度：决定模型看到的上下文时间跨度。通常输入4-8帧，预测1-4帧。序列越长，模型对长期依赖的建模能力越强，但训练难度和显存消耗也越大。

3.2.3 实战场景：不同帧率对预测精度的影响

我们在一项交通路口车辆轨迹预测任务中进行了对比实验。原始数据为1280×720@30fps，分别以10fps、15fps和30fps采样，输入8帧预测4帧，模型结构保持一致。

结果显示，从10fps提升到15fps时精度显著提升，但继续提升到30fps时收益甚微。这是因为车辆运动在15fps下已能充分表达，更高帧率反而增加了数据冗余。最终我们选择15fps作为训练帧率，训练时间缩短了50%，精度损失可忽略。

3.3 视频压缩格式与解码策略

3.3.1 核心原理：理解压缩对数据的影响

视频文件通常采用有损压缩格式（如H.264、H.265）以减小存储和传输开销。压缩算法利用帧内（空间）和帧间（时间）冗余，将视频编码为I帧（关键帧）、P帧（预测帧）和B帧（双向预测帧）的序列。I帧完整存储，P帧和B帧仅存储与参考帧的差异。

对于视频预测模型，压缩格式的影响主要体现在两方面：一是解码后的像素值存在压缩伪影（如块效应、模糊），二是帧间差异被压缩算法平滑，可能影响光流计算的准确性。

3.3.2 操作流程：从压缩视频到训练张量

推荐的数据处理流水线如下：

1. 解码：使用FFmpeg或PyAV将视频解码为原始RGB帧序列。设置 pix_fmt=rgb24 确保输出为RGB格式。
2. 帧提取：按设定的采样帧率均匀抽取帧，避免使用B帧（解码顺序与显示顺序不同）。
3. 预处理：对每帧进行缩放、裁剪、归一化等操作，并转换为float32张量。
4. 缓存：将处理后的帧序列保存为内存映射文件（如.npy或LMDB），避免每次训练重复解码。

# 使用PyAV解码视频并提取帧
import av
container = av.open('video.mp4')
stream = container.streams.video[0]
frames = []
for frame in container.decode(stream):
    img = frame.to_image()  # PIL Image
    frames.append(img)
    if len(frames) >= 16:  # 提取16帧
        break
container.close()

3.3.3 案例拆解：压缩伪影对光流的影响

在自动驾驶数据集（如nuScenes）中，视频以H.264格式存储，码率约为8Mbps。我们对比了直接从压缩视频提取光流与从无损PNG序列提取光流的差异。实验发现，压缩视频的光流在物体边缘处出现明显的块状噪声，光流幅度误差平均增加15%。

解决方案：

• 在光流提取前，对解码帧应用轻度高斯滤波（σ=1.0），抑制块效应。
• 使用基于深度学习的光流模型（如RAFT），其对压缩噪声的鲁棒性优于传统方法。
• 若条件允许，在数据采集时使用更高码率（≥20Mbps）或无损格式存储原始数据。

3.4 数据增强策略

3.4.1 核心原理：提升泛化能力的关键

视频预测模型容易过拟合于训练数据的特定时空分布。数据增强通过对训练样本施加受控变换，增加数据多样性，迫使模型学习到更本质的时空特征。与图像增强不同，视频增强必须保证时间维度上的一致性，否则会破坏运动信息。

3.4.2 常用增强方法详解

• 随机裁剪：在空间维度上随机裁剪一个区域，然后缩放到固定尺寸。这模拟了摄像机视角的微小变化，增强了模型对空间平移的鲁棒性。裁剪比例通常为0.8-1.0，需保证裁剪后物体仍完整可见。
• 时间翻转：将整个视频序列在时间轴上反向播放。这适用于运动方向对称的任务（如物体自由落体），但不适用于具有明确时间箭头的场景（如倒水）。翻转后，光流方向也会反转，需同步处理。
• 色彩抖动：对RGB通道进行亮度、对比度、饱和度和色相的随机调整。这模拟了不同光照条件，增强了模型对光照变化的鲁棒性。抖动幅度不宜过大，否则会破坏物体的真实颜色信息。

3.4.3 实战场景：增强策略的组合与调优

在气象雷达回波外推任务中，我们对比了不同增强策略的效果。基线模型使用无增强的原始数据，实验组分别采用单一增强和组合增强。

组合增强策略在验证集上取得了最佳性能，且训练收敛速度更快。值得注意的是，时间翻转对雷达回波任务有效，因为回波运动方向在统计上是对称的。但在交通轨迹预测中，时间翻转会导致车辆逆行，反而降低性能。

3.4.4 常见误区与总结复盘

• 误区一：对所有视频帧独立进行随机裁剪，导致同一序列内不同帧的裁剪区域不一致，破坏了空间对应关系。正确做法是：对同一序列的所有帧使用相同的裁剪参数。
• 误区二：色彩抖动幅度过大，使物体颜色失真，模型学到错误的颜色-运动关联。建议亮度调整范围±0.2，对比度±0.2，饱和度±0.2。
• 误区三：忽略光流与RGB的联合增强。若对RGB进行时间翻转，光流方向必须反转；若对RGB进行裁剪，光流也需同步裁剪。