第3章：AIGC模型训练基础原理与常用算法
本章聚焦Transformer、扩散模型、训练流程与评估指标四大核心模块，这些是AIGC模型训练工程师面试的高频考点。理解原理、能够描述训练过程、并灵活选择评估指标，是通关关键。
📊 核心对比：Transformer vs 扩散模型
| 维度 | Transformer | 扩散模型 |
|---|---|---|
| 核心原理 | 自注意力机制 + 位置编码 | 前向加噪→反向去噪 |
| 核心组件 | Multi-Head Attention, FFN, LayerNorm | UNet（或Transformer）+ 噪声调度器 |
| 训练方式 | 自回归 / Masked LM | 预测噪声（ε-prediction） |
| 典型AIGC应用 | （文本）、ViT（图像生成） | Stable Diffusion, DALL·E |
| 评估指标 | Perplexity, BLEU, ROUGE | FID, IS, CLIP Score |
| 主要瓶颈 | 计算复杂度O(n²) | 采样速度慢（需多步推理） |
❓ 问题1：请解释Transformer在AIGC中的核心作用，并说明其训练流程的关键步骤。
回答框架：① Transformer核心是Self-Attention捕捉长距离依赖 ② 在AIGC中作为骨干网络处理文本/图像序列 ③ 训练流程：数据构造→Mask机制→交叉熵损失→梯度更新 ④ 关键：位置编码和层归一化。
示例回答：Transformer通过自注意力机制并行处理序列，适合AIGC大规模文本或图像生成。训练时采用Teacher Forcing与Masked Language Model，损失函数为交叉熵。位置编码采用sin/cos或可学习嵌入，保证序列顺序感知。
可能追问：为什么Transformer不适合直接生成高分辨率图像？如何优化其O(n²)复杂度？
❓ 问题2：扩散模型的训练流程是怎样的？如何保证生成质量与采样速度的平衡？
回答框架：① 前向过程逐步添加高斯噪声 ② 反向过程学习预测噪声 ③ 损失函数MSE(ε_pred, ε_gt) ④ 采样时用DDIM或更少步数加速。
示例回答：扩散模型训练即对图像加噪后让网络预测噪声，使用L2损失。为平衡质量与速度，可改用DDIM确定性采样，步数从1000降到50，配合v-prediction参数化，保持生成质量。
可能追问：什么是score matching和Langevin dynamics？扩散模型与VAE/GAN的区别？
❓ 问题3：在AIGC模型评估中，你会选择哪些指标？分别适用于哪些场景？
回答框架：① 分类回归：文本用Perplexity/BLEU，图像用FID/IS ② FID衡量真实与生成分布的距离 ③ IS关注多样性 ④ CLIP Score衡量文本-图像对齐。
示例回答：图像生成首选FID，因为它对分布偏移敏感且与人类感知较一致；文本到图像任务加用CLIP Score；多样性需求强时参考IS。注意FID计算需要足够样本（≥5000），否则方差大。
可能追问：FID与IS的数学定义是什么？如果FID很低但生成图像模糊，你会如何分析？
📁 项目案例：文生图扩散模型训练与优化
| 项目名称 | 基于Stable Diffusion的电商产品图生成系统 |
| 业务背景 | 商品拍摄成本高，需自动生成多风格产品图，支持模特替换、背景切换 |
| 规模指标 | 训练数据20万张；模型参数量1.4B；线上推理平均耗时1.2s/张；生成图FID从35降至8.6 |
| 技术栈 | PyTorch + Diffusers + CLIP + LoRA + DeepSpeed ZeRO-2 |
| 核心难点 | 产品细节保持（文字、Logo）、风格一致性、多视角生成 |
| 面试高频追问 | 为什么选择LoRA而非全参数微调？如何处理过拟合？FID达标但产品文字模糊如何排查？ |
| 可迁移回答话术 | “我们采用LoRA低秩适配，冻结主模型仅训练4个附加矩阵，显存从32G降至12G。对于文字模糊，我们在数据集中补充了含文字的产品图，并加了一致性损失项。” |