第4章 数据工程与数据预处理：数据清洗、标注策略、数据增强、数据质量评估
数据是AIGC模型的燃料。本章聚焦面试中最高频的数据工程考题，从清洗、标注、增强、质量评估四个维度拆解回答框架，并提供一个完整的项目模板。
面试官视角：数据工程面试通常从“你如何处理脏数据”切入，逐步追问到“标注成本怎么控”“增强后效果有没有退化”。上方的追问路径图帮助你预判面试节奏。
3个高频面试问答卡片
Q1：请描述一次你处理数据清洗的项目经验。
| 考察点 | 流程思维、异常检测方法、清洗对模型的影响量化 |
| 回答框架 | 1. 识别异常类型（缺失/重复/离群）→2. 选择处理策略（删除/填充/模型预测）→3. 对比清洗前后分布与模型效果→4. 自动化流水线 |
| 示例回答 | “在文生图项目中，用户数据存在30%的URL失效和5%的图文不匹配。我通过正则+图像指纹检测过滤掉无效样本，对缺失描述用CLIP生成替代。清洗后数据量下降15%，但FID指标从12.3降至9.1，训练收敛速度提升20%。” 60字 |
| 可能追问 | 填充策略为什么选CLIP而不是简单的文本复制？为什么先过滤再填充？ |
| 避坑提醒 | ❌ 只讲清洗方法不讲效果对比；❌ 忽略业务容忍度（如安全类数据宁可漏判不可误判） |
Q2：如何设计标注策略来保证高质量数据？
| 考察点 | 标注流程设计、质量监控、成本控制意识 |
| 回答框架 | 1. 明确标注规范（指南+示例）→2. 人员培训与试标注→3. 交叉验证+一致性检查→4. 定期抽样复核 |
| 示例回答 | “为多轮对话数据设计了三阶段策略：先由专家标注1000条作为黄金标准，然后众包人员标注并加入10%的陷阱题检测注意力。每周计算标注不一致率，超过5%则退回重训。最终一致率从78%提升到92%。” 75字 |
| 可能追问 | 陷阱题怎么设计？不一致率高时优先调整指南还是回退标注员？ |
| 避坑提醒 | ❌ 只说“找人标注”没有量化标准；❌ 忽略长尾数据的标注难度 |
Q3：数据增强有哪些常用方法？如何避免增强后的数据污染？
| 考察点 | 增强方法多样性、过增强检测、下游验证 |
| 回答框架 | 1. 列举方法（文本：回译/替换；图像：翻转/颜色抖动；语音：加噪/变速）→2. 质量控制：保持语义/可识别性→3. 校验：增强样本是否改变标签→4. 消融实验验证效果 |
| 示例回答 | “在文本情感分类中，采用同义词替换和随机删除两种简单增强，同时用BERT检查增强后文本是否保持原情感标签。实验发现，过强替换（>30%词）会引入噪声，导致准确率下降2%。最终控制增强倍数在3倍内，F1提升4%。” 85字 |
| 可能追问 | 为什么不用回译？如何判断增强样本是否改变了原始分布？ |
| 避坑提醒 | ❌ 增强后不验证标签保真度；❌ 盲目大量增强导致模型过拟合噪声 |
项目案例：多模态AIGC模型的数据管道搭建
项目名称：多模态文生图模型数据管道搭建与持续优化
业务背景：为某电商平台生成商品展示图，需要千万级图文对数据集；原始数据来自电商平台爬虫，质量参差不齐，标注成本极高。
规模指标：总数据量1200万条、日均清洗处理10万条、标注一致性目标>90%、最终训练集800万条。
技术栈：Spark（数据清洗）、Label Studio（标注平台）、CLIP（文本-图像匹配质量评分）、Albumentations（图像增强）、Weights & Biases（数据质量监控）
核心难点：
业务背景：为某电商平台生成商品展示图，需要千万级图文对数据集；原始数据来自电商平台爬虫，质量参差不齐，标注成本极高。
规模指标：总数据量1200万条、日均清洗处理10万条、标注一致性目标>90%、最终训练集800万条。
技术栈：Spark（数据清洗）、Label Studio（标注平台）、CLIP（文本-图像匹配质量评分）、Albumentations（图像增强）、Weights & Biases（数据质量监控）
核心难点：
- 商品主图与描述不匹配（如“蓝色连衣裙”配图却是红色）
- 用户生成标题包含大量广告词和无意义符号
- 众包标注员对“颜色”和“风格”的定义分歧大
- CLIP评分阈值怎么设定的？
- 标注不一致率从15%降到5%的过程中做了哪些动作？
- 数据增强后有没有出现“假难例”？如何解决？
面试官提醒：数据工程面试中，量化指标（如清洗前后准确率变化、标注成本节约比例）比空洞的方法描述重要10倍。在项目案例中，准备3-5个关键数值，并记住你是如何得到它们的。