4. 数据预处理与探索性分析方案设计

数学建模竞赛中，拿到赛题数据后的第一件事不是急着套模型，而是把数据“摸清楚”。数据预处理与探索性分析（EDA）方案设计的核心，是在正式建模之前建立一条可复现的数据加工链：先诊断数据质量，再决定缺失值、异常值、特征构造各自采用什么策略，最后用可视化把结论固化下来，并评估这些处理对后续模型的影响。本节围绕这条链路展开，给出可直接落地的设计思路与示例。

一、先做数据质量诊断，再谈处理策略

数据质量诊断要回答三个问题：数据规模与字段含义是否清楚、缺失与异常分布在哪些字段、各字段的分布形态是否支持后续建模假设。建议在方案中固定一张“数据质量台账”，逐字段记录类型、缺失率、异常比例、取值范围与业务含义。例如某赛题给出 5000 条设备运行记录、18 个字段，其中“温度”缺失率 6.2%、“振动幅值”存在 3 倍于中位数的极端值、“运行时长”为右偏分布。这些信息直接决定后续策略：缺失率低于 5% 且随机缺失的字段可考虑删除样本或简单填补；缺失率高的字段要么构造“是否缺失”指示变量，要么放弃该字段。

诊断阶段还应明确缺失机制。若缺失与目标变量相关（非随机缺失），简单均值填补会引入偏差，应改用模型填补或保留缺失指示。异常值则要区分“录入错误”和“真实极端事件”：前者应修正或剔除，后者往往正是赛题关心的对象，不能一删了之。

二、缺失值、异常值与特征构造的处理设计

缺失值处理方案要写清“判断条件—处理方法—验证方式”。数值型字段在缺失率低且近似对称分布时可用中位数填补（比均值更稳健）；右偏字段可先对数变换再填补；分类字段用众数或单独设“未知”类。对时间序列类数据，优先用前向填充并限制填充跨度，避免长距离插值失真。异常值检测建议至少两种方法交叉验证：连续型字段用 IQR 准则（超出 Q1−1.5IQR 与 Q3+1.5IQR 视为可疑）配合 Z 分数（|z|>3），多变量异常用孤立森林或马氏距离。检测出的异常点先标记为“待核查”，再结合业务规则判定处理方式。

特征构造是拉开方案差距的环节。常见做法包括：由时间戳拆出小时、星期、是否节假日；由“单价×数量”构造金额；对右偏变量做对数或 Box-Cox 变换；对类别变量做频数编码或目标编码（需注意防止泄漏）；用滑动窗口构造均值、差分、增长率等时序特征。构造后必须检查新特征与目标的相关性及多重共线性，避免“造了一堆特征反而拖累模型”。

三、可视化探索要服务于判断，而不是堆图

EDA 阶段的图表应围绕“发现结构、验证假设、定位问题”来选型。单变量看分布：直方图判断偏态，箱线图定位离群点；双变量看关系：散点图配合相关系数矩阵识别线性与非线性关联；分组看差异：按类别分组的箱线图或小提琴图比较目标变量分布；时间序列看趋势与周期：折线图叠加移动平均。每张图都应产出一句可执行的结论，例如“温度与振动幅值呈弱正相关（r≈0.32），但高温区间样本稀少，建模时需注意外推风险”。

可视化还能反向校验预处理效果：填补前后分布是否明显偏移、异常值剔除后箱线图是否合理、对数变换后是否更接近正态。这些对比图应保留在方案文档中，作为处理合理性的证据。

四、评估数据质量对模型的影响

方案设计不能止于“处理完”，还要回答“处理得值不值”。推荐做法是设置对照实验：用同一模型分别训练于“原始数据简单处理”和“完整预处理方案”两套数据，比较验证集指标（如回归的 RMSE、分类的 F1）与稳定性（交叉验证标准差）。若完整方案使 RMSE 从 0.85 降至 0.72，且折间波动收窄，说明预处理有效；若指标反而变差，需排查是否过度清洗丢失了有效信息，或特征构造引入了泄漏。

五、可直接套用的方案模板

将上述内容整理为一份可填写的预处理方案表，能显著提升团队协作与复现效率。示例字段如下（数值为示例假设）：

最后强调一点：预处理方案必须与建模方案联动设计。树模型对异常值和量纲不敏感，但线性模型和距离类模型对缺失填补与标准化非常敏感；时序模型对前向填充的跨度有严格要求。因此在方案阶段就应明确“下游用什么模型”，再倒推预处理策略的严格程度，避免出现“预处理做得很精细、模型却用不上”的脱节。把诊断、处理、可视化、影响评估四步串成闭环，并在文档中留下可复现的参数与对照结果，才是竞赛中数据预处理方案设计的完整交付。