4. 生成式模型基础

在自动驾驶世界模型仿真数据生成中，生成式模型负责从随机噪声或条件输入中合成逼真的传感器数据、场景布局与动态行为。不同模型族在建模方式、训练稳定性、采样速度与似然计算能力上差异显著，理解它们的原理与取舍，是后续选择仿真数据生成方案的基础。

一、核心原理：五类生成模型的建模视角

生成式模型的核心目标是学习真实数据分布 p(x)，并从中采样出新的样本。五类主流模型分别从不同角度逼近这一目标：

  • 生成对抗网络（GAN）：用生成器 G 与判别器 D 进行对抗博弈。生成器试图骗过判别器，判别器试图区分真假。最终生成器学会将噪声 z 映射为逼真样本，但训练易出现模式崩溃。
  • 变分自编码器（VAE）：通过编码器将输入映射到潜变量分布 q(z|x)，再由解码器重建 p(x|z)。优化证据下界（ELBO），兼顾重建与潜变量正则，生成结果偏平滑。
  • 扩散模型（Diffusion）：定义前向加噪过程逐步破坏数据，再学习反向去噪过程从纯噪声恢复样本。训练目标为预测噪声，采样质量高但迭代步数多。
  • 自回归模型（AR）：将联合分布分解为条件概率乘积 p(x)=∏p(x_i|x_<i)，逐元素或逐 token 生成。适合序列化场景，采样速度受序列长度限制。
  • 归一化流（Normalizing Flow）：用可逆变换将简单分布映射为复杂分布，通过变量替换公式精确计算似然。可逆性要求网络结构受限，但采样与密度估计都很快。
关键区别：GAN 与 Diffusion 属于隐式或迭代式生成，VAE 与 Flow 可计算近似或精确似然，AR 则天然适合离散序列与条件生成。

二、方法流程与信号链对比

下图以信号链形式对比五类模型从输入到输出的核心路径，帮助快速定位它们在仿真数据生成中的适用位置。

五类生成模型信号链对比 GAN 噪声 z → G → 假样本 判别器 D 对抗 真假博弈，无显式似然 VAE x → 编码器 → q(z|x) 重参数化采样 z 解码器重建，优化 ELBO Diffusion x₀ → 逐步加噪 → x_T 反向去噪网络 预测噪声 ε，迭代采样 自回归 AR x₁ → x₂ → … → x_n 条件概率乘积 逐 token 生成，可条件控制 归一化流 Flow 可逆变换 f，精确似然 仿真数据生成关注维度 训练稳定性：Flow > VAE > AR > Diffusion > GAN GAN 需平衡博弈，Diffusion 训练稳定但采样慢 采样速度：GAN ≈ Flow > VAE > AR > Diffusion Diffusion 需数十至数百步去噪 样本质量：Diffusion ≈ GAN > Flow > VAE > AR VAE 偏模糊，AR 依赖序列建模能力 似然计算：Flow 精确 > VAE 近似 > AR 可算 > Diffusion 难 > GAN 无 Flow 可逆结构限制表达力 条件控制：AR 与 Diffusion 最灵活 适合按车道、天气、交通流条件生成 仿真适配：Diffusion 用于高保真场景，VAE 用于潜空间编辑 GAN 用于快速风格迁移，AR 用于轨迹序列

三、案例场景：自动驾驶仿真数据生成中的选型

假设需要为城市路口仿真生成多视角摄像头图像与激光雷达点云。不同模型可承担不同任务：

  • 扩散模型：用于生成高保真前视摄像头图像，支持按天气、光照、车道线条件控制。训练稳定，但单帧采样可能需要 50～200 步去噪，需配合蒸馏或潜空间扩散加速。
  • VAE：将真实驾驶场景压缩到潜空间，在潜空间中进行插值与属性编辑，快速生成相似但不同的场景布局，适合数据增强。
  • GAN：用于快速生成对抗样本或进行风格迁移，例如将晴天图像转换为雨天风格，但需警惕模式崩溃导致场景多样性不足。
  • 自回归模型：用于生成交通参与者轨迹序列，按时间步逐点预测，天然支持条件概率建模与长时预测。
  • 归一化流：用于对雷达点云或轨迹分布进行精确密度估计，检测异常驾驶行为，或为其他生成模型提供可逆的潜空间映射。
在仿真数据生成流水线中，常见组合是：Flow 或 VAE 负责潜空间建模，Diffusion 负责高保真渲染，AR 负责时序轨迹，GAN 负责快速风格增强。

四、误区与复盘：选型时的常见陷阱

实际工程中，团队容易陷入以下误区：

  1. 只看样本质量，忽略采样成本。扩散模型生成质量高，但若仿真需要每秒生成数百帧，必须评估推理延迟，否则无法满足闭环仿真需求。
  2. 认为 GAN 一定最快。GAN 单次前向即可生成，但训练不稳定、模式崩溃会导致生成场景重复，反而降低仿真数据多样性。
  3. 忽略条件控制能力。自动驾驶仿真需要按车道、交通灯、天气等条件生成，AR 与 Diffusion 在条件建模上更灵活，VAE 与 Flow 需额外设计条件输入。
  4. 混淆似然与生成质量。Flow 可精确计算似然，但可逆结构限制表达力；GAN 无似然却可生成高质量样本。似然高低不等于仿真可用性。
  5. 忽视数据预处理与对齐。多传感器仿真要求图像、点云、轨迹在时空上对齐，生成模型需与仿真引擎的坐标系、时间戳严格同步。
复盘建议：先明确仿真任务对采样速度、条件控制、多样性与似然计算的需求优先级，再选择模型族；不要盲目追求单一指标最优。

五、五类模型关键参数与训练目标清单

模型 核心训练目标 关键参数 仿真生成优势 主要局限
GAN 极小极大博弈，对抗损失 生成器/判别器学习率、噪声维度 采样快，样本锐利 训练不稳定，模式崩溃
VAE ELBO：重建误差 + KL 散度 潜变量维度、KL 权重 β 潜空间可编辑，训练稳定 生成偏模糊，似然近似
Diffusion 预测噪声 ε，去噪得分匹配 扩散步数 T、噪声调度、采样器 高保真，条件控制灵活 采样慢，计算开销大
自回归 AR 条件概率乘积最大化 序列长度、上下文窗口、温度 适合轨迹与序列生成 采样串行，长序列误差累积
归一化流 精确似然，变量替换公式 可逆层数、耦合结构、缩放参数 精确密度估计，采样快 可逆结构限制表达力 
# 示例：扩散模型训练核心伪代码
for x0 in dataloader:
    t = sample_timestep()
    noise = randn_like(x0)
    xt = sqrt(alpha_bar[t]) * x0 + sqrt(1 - alpha_bar[t]) * noise
    loss = MSE(model(xt, t, condition), noise)
    loss.backward()
    optimizer.step()

# 采样：从纯噪声逐步去噪
xT = randn_like(shape)
for t in reversed(range(T)):
    x = denoise_step(model, x, t, condition)
return x

综上，五类生成模型各有其数学根基与工程取舍。在自动驾驶世界模型仿真数据生成中，建议以任务需求为导向，组合使用多种模型：用 Flow 或 VAE 构建可解释潜空间，用 Diffusion 生成高保真传感器数据，用 AR 建模时序轨迹，用 GAN 进行快速风格增强，从而在质量、速度与多样性之间取得平衡。

← 上一章 📖 返回目录 下一章 →