4、生成式模型基础：VAE、GAN、扩散模型、自回归模型的核心原理、优缺点及适用场景
生成式模型是构建世界模型的基石。无论是预测视频下一帧、规划机器人行动，还是模拟物理世界演化，本质上都是在学习数据的概率分布并从中采样。本章聚焦四类主流生成模型——VAE、GAN、扩散模型和自回归模型，从数学直觉、架构设计、训练难点到适用边界进行系统拆解，帮助你在实际项目中做出正确的技术选型。
4.1 VAE：隐变量与重参数化的艺术
核心原理：变分自编码器（Variational Autoencoder）假设观测数据 \(x\) 由低维隐变量 \(z\) 通过非线性映射生成。其核心创新在于用编码器 \(q_\phi(z|x)\) 近似真实后验 \(p_\theta(z|x)\)，并通过重参数化技巧（\(z = \mu + \sigma \odot \epsilon\)）使采样过程可微。训练目标是最小化负ELBO（证据下界）：
L = -E_{q_\phi(z|x)}[log p_\theta(x|z)] + KL(q_\phi(z|x) || p(z))第一项是重建损失，第二项是正则项，迫使隐变量分布接近标准正态先验。
判断方法：当项目需要低维表示（如将高维状态压缩为机器人控制信号）、异常检测（重建误差作为异常分数）或半监督学习时，VAE是首选。其训练稳定，不会出现模式崩溃。
案例拆解：在自动驾驶场景预测中，我们使用VAE将连续5帧的鸟瞰图编码为32维隐向量，再通过解码器预测未来3秒的占用网格。初始重建损失为0.42，KL项为0.15。通过调整β权重（β-VAE）至0.8，隐变量变得更具可解释性——第3维对应车辆转向意图，第17维对应道路曲率。但生成图像偏模糊，边缘细节丢失严重。
4.2 GAN：对抗博弈的威力与脆弱
核心原理：生成对抗网络（GAN）由生成器G和判别器D构成零和博弈。G从噪声\(z\)映射到数据空间，D区分真实样本与生成样本。训练目标是极小极大博弈：
min_G max_D E_{x~p_data}[log D(x)] + E_{z~p_z}[log(1 - D(G(z)))]理论上，当D无法区分真假时，G的分布收敛到真实数据分布。但实际训练中，D往往过强导致梯度消失，或G找到D的漏洞产生无意义输出。
操作流程：训练GAN需要精细的平衡策略。常用技巧包括：标签平滑（将真实标签从1降至0.9）、谱归一化（限制D的Lipschitz常数）、TTUR（不同学习率）以及梯度惩罚（WGAN-GP）。
实战场景：在游戏纹理超分辨率任务中，我们采用ESRGAN架构。初始PSNR为28.3dB，但感知质量差。引入感知损失（VGG特征匹配）后，PSNR降至27.1dB，但用户主观评分从3.2升至4.5。训练中遇到模式崩溃——生成器只输出草地纹理。通过增加mini-batch大小至64并启用重构损失，崩溃问题在2000步后缓解。
4.3 扩散模型：从噪声中雕琢细节
核心原理：扩散模型定义两个过程：前向过程逐步向数据添加高斯噪声（\(q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)\)），经过T步后变为纯噪声；反向过程学习去噪网络\(\epsilon_\theta(x_t, t)\)，逐步还原数据。训练目标简化为预测噪声：
L = E_{t,x_0,\epsilon}[||\epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, t)||^2]判断方法：当任务要求极高样本质量（如医学影像生成、分子构象采样）且推理延迟可接受时，扩散模型是当前最优选择。其训练稳定，无模式崩溃，但采样速度慢（通常需50-1000步）。
案例拆解：在蛋白质结构生成项目中，我们使用DDPM生成3D残基坐标。初始设置T=1000步，每步推理耗时0.8秒，生成一个蛋白质需13分钟。通过DDIM加速（仅用50步）将时间压缩至40秒，FID从12.3降至9.8（反而提升，因为DDIM的确定性采样减少了累积误差）。但发现模型对长序列（>300残基）生成时出现结构扭曲，通过引入自条件化（self-conditioning）机制，成功率从61%提升至78%。
4.4 自回归模型：序列概率的精确建模
核心原理：自回归模型将联合概率分解为条件概率的乘积：\(p(x_1, x_2, ..., x_n) = \prod_{i=1}^n p(x_i | x_{1:i-1})\)。对于图像，可将像素按光栅扫描顺序排列；对于视频，则按帧和空间位置联合排列。Transformer架构通过自注意力机制高效建模长距离依赖。
操作流程：训练时使用teacher forcing（用真实历史预测下一步），推理时需逐token生成，无法并行。这导致生成速度慢，但优势在于可精确计算似然，且易于扩展条件信息（如文本提示、类别标签）。
实战场景：在自动驾驶轨迹预测中，我们使用自回归Transformer预测未来6秒的轨迹点。输入为过去3秒的车辆状态和HD地图，输出为高斯混合分布的参数。相比LSTM，Transformer的minADE（平均位移误差）从2.1米降至1.4米。但推理延迟从15ms增至120ms，无法满足实时性要求。最终采用知识蒸馏——用大模型生成伪标签训练轻量级CNN，延迟降至18ms，精度保持1.6米。
| 模型 | 训练稳定性 | 采样速度 | 密度估计 | 表示学习 | 典型应用 |
|---|---|---|---|---|---|
| VAE | 高 | 快 | 下界 | 优秀 | 异常检测、压缩 |
| GAN | 低 | 快 | 无 | 差 | 图像翻译、超分 |
| 扩散 | 高 | 慢 | 似然 | 中等 | 文生图、分子生成 |
| 自回归 | 高 | 中 | 精确 | 良好 | 语言模型、轨迹预测 |
4.5 选型决策框架与混合架构趋势
决策流程：首先明确任务是否需要精确似然（如密度估计、压缩）→ 选自回归或扩散；若需实时交互（如自动驾驶决策）→ 排除扩散，考虑VAE或GAN；若需低维可解释表示 → 选VAE；若视觉质量优先且允许调参 → 选GAN。
混合架构：前沿世界模型常组合多种生成模型。例如，用VAE将高维观测压缩为离散token，再用自回归Transformer建模token序列的时间演化，最后用扩散模型解码为像素级预测。这种"VAE+自回归+扩散"的三级架构在视频生成中取得了SOTA效果。
总结复盘：四类模型各有不可替代的价值。VAE是表示学习的基石，GAN在特定视觉任务中仍具效率优势，扩散模型是当前质量上限的标杆，自回归模型则是序列世界模型的核心。实际项目中，应基于任务约束（延迟、质量、可解释性）而非模型热度做选择。建议团队至少掌握VAE和自回归两种模型，它们组合起来能覆盖大多数世界模型构建需求。