3、多模态数据基础：文本、图像、音频、视频、传感器数据的特点、表示方法及预处理流程

构建生成式世界模型的第一步，是理解其“输入燃料”——多模态数据。世界模型需要同时理解物理世界的静态结构（图像）、动态变化（视频）、语义抽象（文本）、听觉信息（音频）以及环境状态（传感器数据）。不同模态的数据在数学表示、信息密度、噪声分布和时间特性上存在显著差异，这决定了预处理流程必须“因模态而异”。本章将系统梳理五类核心模态数据的特点、向量化表示方法及标准化预处理流程，为后续模型架构设计与训练策略奠定数据基础。

3.1 文本数据：从离散符号到语义向量

核心原理：文本是人类知识最密集的载体，其本质是离散符号序列。在生成式世界模型中，文本既可作为指令输入（如“描述前方路况”），也可作为世界状态的语义标签（如“雨天路面湿滑”）。文本表示的核心挑战在于将离散符号映射为连续向量空间，同时保留语法结构和语义关系。

表示方法演进：当前主流方案采用预训练语言模型（如BERT、T5、LLaMA）生成上下文相关的动态词向量。对于世界模型场景，通常使用CLS标记的最后一层隐藏状态作为整句表示，或保留所有token的隐状态用于细粒度对齐。

预处理流程：

1. 清洗：去除HTML标签、特殊符号、统一Unicode编码，处理emoji和表情符号（保留或替换为文本标记）。
2. 分词：中文采用WordPiece或SentencePiece，英文采用BPE（Byte Pair Encoding），需根据语料统计构建词表（通常30K-100K）。
3. 截断与填充：设定最大长度（如512 token），超出部分截断，不足部分用[PAD]填充，并生成注意力掩码。
4. 特殊标记注入：添加[CLS]、[SEP]、模态类型嵌入（如[TEXT]）以区分不同来源。

3.2 图像数据：像素矩阵到视觉特征

核心原理：图像是静态视觉信息的二维采样，以H×W×C张量表示（H高、W宽、C通道数）。世界模型需要从图像中提取空间结构、物体属性、光照条件等关键信息。与分类任务不同，世界模型的图像编码器需保留空间位置信息，因此常采用ViT（Vision Transformer）的patch embedding方式，而非全局池化。

表示方法：将图像划分为16×16或14×14的patch，每个patch线性投影为向量，并添加位置编码。对于多视角输入（如环视摄像头），需为每个视角分配独立的可学习嵌入。

预处理流程：

• 尺寸归一化：统一缩放至模型输入尺寸（如224×224或336×336），保持宽高比并填充边缘。
• 像素标准化：使用ImageNet统计的均值（[0.485, 0.456, 0.406]）和标准差（[0.229, 0.224, 0.225]）进行归一化，将像素范围映射至近似标准正态分布。
• 数据增强：随机水平翻转、颜色抖动、随机裁剪（scale 0.08-1.0）、高斯模糊等，增强模型对光照和视角变化的鲁棒性。
• 掩码策略：对于多模态对齐任务，可随机掩码部分patch（如30%），迫使模型学习跨模态补全能力。

3.3 音频数据：波形到频谱特征

核心原理：音频是声音的时域波形，采样率通常为16kHz或44.1kHz。世界模型利用音频感知环境事件（如车辆鸣笛、警报声、雨声）。原始波形维度极高（1秒音频=16000个采样点），直接建模不现实，需转换为时频域表示。

表示方法：最常用的是梅尔频谱图（Mel Spectrogram），将线性频率映射至梅尔刻度（模拟人耳感知），得到时间×频率的二维特征图。对于需要保留相位信息的任务（如音频生成），则使用短时傅里叶变换（STFT）的复数谱。

预处理流程：

1. 重采样：统一至16kHz（语音）或22.05kHz（环境音），避免不同来源采样率不一致。
2. 预加重：使用一阶高通滤波器（系数0.97）提升高频分量，平衡频谱能量。
3. 分帧与加窗：帧长25ms（400采样点），帧移10ms（160采样点），应用汉明窗减少频谱泄漏。
4. 特征提取：计算64-128维梅尔滤波器组能量，取对数（log），得到T×F的频谱图（如T=100帧，F=128维）。
5. 归一化：按全局均值和方差标准化，或使用实例归一化（per-utterance）。

3.4 视频数据：时空联合建模

核心原理：视频是图像在时间维度上的扩展，包含空间（帧内）和时间（帧间）双重信息。世界模型通过视频学习物理规律（如物体运动轨迹、遮挡关系）。视频数据量巨大（1分钟1080p视频约1.5GB），需在保留关键信息的前提下压缩表示。

表示方法：主流方案包括：①均匀采样帧序列（如每8帧取1帧）；②关键帧提取（基于内容变化检测）；③光流图（计算相邻帧像素运动向量）；④3D卷积特征（如SlowFast网络）。对于生成式模型，常采用视频tokenizer（如VideoGPT的VQ-VAE）将视频压缩为离散token序列。

预处理流程：

• 抽帧策略：固定帧率采样（如2fps）或动态采样（根据场景切换检测）。
• 帧间差分：计算相邻帧的PSNR或SSIM，去除冗余帧（相似度>0.95的帧可丢弃）。
• 光流计算：使用RAFT或FlowNet提取稠密光流，作为运动信息的补充通道。
• 时空裁剪：随机裁剪时空块（如16帧×112×112），增强时空一致性。
• 时间掩码：随机掩码部分帧，训练模型预测被掩码帧，学习时间动态。

3.5 传感器数据：物理世界的数值映射

核心原理：传感器数据（GPS、IMU、激光雷达、温度、湿度等）以数值序列形式记录物理量。其特点是：维度低但噪声大、采样率差异大、存在缺失值。世界模型利用传感器数据感知自身状态（位置、速度、朝向）和环境条件（天气、路面摩擦系数）。

表示方法：传感器数据通常编码为向量序列，每个时间步包含多个物理量。对于激光雷达点云，则需转换为体素网格（Voxel）或鸟瞰图（BEV）表示。IMU数据（加速度计+陀螺仪）常以6维向量表示（ax, ay, az, gx, gy, gz）。

预处理流程：

1. 异常值剔除：使用中值滤波或3σ原则去除传感器毛刺。
2. 插值对齐：将不同采样率的数据（如GPS 10Hz、IMU 100Hz）插值至统一时间轴（如50Hz）。
3. 坐标系转换：将传感器数据从局部坐标系转换至全局坐标系（如UTM坐标），需标定外参。
4. 归一化：不同物理量量纲差异大（如温度300K vs 速度30m/s），需按各维度统计量归一化至[-1,1]或[0,1]。
5. 滑动窗口：构造固定长度的时间窗口（如5秒=250步），作为模型输入。

3.6 多模态对齐与融合策略

核心原理：多模态数据在时间和语义上存在对应关系，对齐是融合的前提。对齐分为时间对齐（同步采样时刻）和语义对齐（建立跨模态概念映射）。世界模型通常采用对比学习（如CLIP）或交叉注意力机制实现语义对齐。

操作流程：

• 时间戳统一：将所有模态数据的时间戳转换为统一基准（如Unix时间戳），精度至毫秒。
• 特征级对齐：将各模态编码器输出的特征投影至同一维度空间（如1024维），计算对比损失（InfoNCE）。
• 缺失模态处理：训练时随机丢弃部分模态（如20%概率），使用模态类型嵌入（Modality Token）让模型感知缺失情况。
• 融合方式选择：早期融合（输入级拼接）、中期融合（特征级交互）、晚期融合（决策级投票）。世界模型推荐中期融合，兼顾性能与计算效率。

3.7 常见误区与总结复盘

误区一：过度依赖单一模态。部分团队为简化流程，仅使用摄像头数据训练世界模型，导致在夜间或恶劣天气下性能骤降。正确做法是至少融合2-3种互补模态（如摄像头+激光雷达+IMU）。

误区二：忽视数据分布偏移。训练集与测试集的数据分布差异（如不同城市、不同季节）会导致模型泛化能力差。建议在预处理阶段加入域随机化（Domain Randomization），如随机改变光照、纹理、天气条件。

误区三：预处理过度导致信息丢失。例如对音频进行过度降噪，可能滤除环境中的关键事件声（如远处鸣笛）。应保留适度噪声，增强模型鲁棒性。

误区四：未考虑计算效率。高分辨率图像（4K）和长序列视频（100帧）直接输入模型会导致显存溢出。需在预处理阶段进行合理的降采样和裁剪，平衡信息保留与计算开销。

总结：多模态数据预处理是生成式世界模型的基础工程，其质量直接决定模型性能上限。核心原则是：保持时间同步、统一特征维度、保留关键信息、增强数据多样性。建议建立标准化的数据管线，对每种模态进行独立的清洗与增强，再通过对齐模块实现统一表示。在实际项目中，预处理代码应模块化、可配置化，便于针对不同场景快速调整参数。