📚 课程目录第3章数据驱动优化

数据驱动优化：数据采集与预处理方法

说白了，参数和特征构建就像一对舞伴。你想让他们跳得漂亮，得先给舞池铺好地板。这个地板，就是数据。

很多同学一上来就调参数、搞特征工程。结果呢？跑出来的模型一塌糊涂。回头一看，原来是数据采集阶段就埋了雷。嗯，这里要特别强调：数据驱动优化，第一步不是优化，是先把数据伺候好。

我个人习惯把数据准备分成两个阶段：采集和预处理。采集是拿到原材料，预处理是把原材料洗干净、切成合适的大小。

数据采集：别让脏数据进来

数据采集听起来简单，其实坑特别多。我在一个工业预测项目里遇到过，传感器每小时上报一次数据，结果因为网络波动，有30%的时间戳是乱序的。你说这数据能用吗？

所以，我把数据采集总结为三个核心原则：

完整性：每条记录的关键字段不能为空。比如时间戳、设备ID、关键指标，缺一不可。
一致性：不同来源的数据，格式要统一。你想想看，A系统用“yyyy-MM-dd”，B系统用“MM/dd/yyyy”，合并的时候就是灾难。
时效性：数据要按预期频率到达。延迟超过阈值的数据，我建议打标处理，而不是直接丢弃或盲目使用。

小技巧：在采集阶段就加入简单的校验逻辑。比如时间戳必须在合理范围内，数值必须在物理极限内。这能帮你过滤掉大量明显的异常数据。

常用的采集方式有这么几种，我整理了个表格：

采集方式	适用场景	典型问题
日志埋点	Web/App用户行为	埋点丢失、重复上报
API/SDK接入	第三方数据集成	接口限流、数据格式变化
传感器/设备	IoT、工业数据	网络抖动、硬件故障
数据库同步	离线批量数据	时间偏差、增量丢失

数据预处理：把脏数据洗干净

预处理是体力活，也是技术活。我记得有一次做售卖预测，原始数据里有几百万条记录。结果一分析，20%的“销量”字段是负数。为什么？系统bug，退货逻辑写错了。

所以，我习惯把预处理分成四个步骤，缺一不可：

1. 数据清洗

清洗的目标很简单：把明显不对的数据处理掉。具体包括：

去重：重复记录会扭曲统计指标。我见过一个案例，因为ETL流程出错，同一个用户的行为被记录了3次，直接导致预测模型偏向高频用户。
纠正格式：比如日期格式统一、字符串编码统一。
过滤异常值：不是所有异常都要删。但在采集初期，那些明显超出物理极限的数据（比如温度-999度），该删就删。

注意：清洗时要保留原始数据备份。我曾经因为清洗逻辑写错，把整份数据搞坏了，还好留了原始文件，不然项目就砸了。

2. 缺失值处理

缺失值怎么办？我见过新手直接删掉整行，结果样本量少了30%，模型方差大得吓人。

缺失值处理要看情况：

缺失率 < 5%：可以直接删除对应样本，影响不大。
缺失率 5%-20%：用均值、中位数或众数填充。数值型特征我偏好中位数，因为它对异常值不敏感。
缺失率 > 20%：别急着填充，先看看这个特征有没有价值。有些特征缺失率高，说明采集本身有问题，建议重新评估特征意义。

# 简单的缺失值处理示例（Python）
import pandas as pd

# 读取原始数据
df = pd.read_csv('sensor_data.csv')

# 数值列用中位数填充
for col in ['temperature', 'pressure']:
    if df[col].isnull().mean() < 0.2:
        df[col].fillna(df[col].median(), inplace=True)
    else:
        # 缺失率过高，先标记、后续人工判断
        df[col + '_missing_flag'] = df[col].isnull().astype(int)

# 删除缺失率超过50%的列
df.dropna(thresh=len(df)*0.5, axis=1, inplace=True)

3. 异常值检测

异常值不是非要删。我曾经处理一次售卖预测时，发现“促销日”的销量是平时的10倍。这算异常吗？不，这是业务特征。所以，异常值要分清楚是“噪声”还是“信号”。

常用的检测方法：

统计方法：3σ原则、箱线图（IQR）。简单好用，适合数值特征。
距离方法：LOF、孤立森林。适合高维数据，但计算量较大。
业务规则：这个最靠谱。比如你明确知道某个指标不能超过100，那超过的就是异常。

核心思路：异常值处理没有银弹。我的建议是：先画分布图，肉眼看看；有业务逻辑的，用业务逻辑；没有的，用统计方法打标，交给模型自己去学。

4. 标准化与归一化

很多模型对特征尺度敏感。比如SVM、神经网络、KNN，一旦特征间量级差太多，大的特征就会主导距离计算。

两种常见做法：

Z-score标准化：减去均值，除以标准差。输出均值为0、方差为1。适合数据近似正态分布的情况。
Min-Max归一化：缩放到[0,1]区间。适合有明确边界的数据，比如像素值0-255。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Z-score标准化
scaler_std = StandardScaler()
X_scaled_std = scaler_std.fit_transform(X)

# Min-Max归一化
scaler_mm = MinMaxScaler()
X_scaled_mm = scaler_mm.fit_transform(X)

我个人习惯：如果后续要用基于树的模型（随机森林、XGBoost），标准化不是必须的，树模型不关心尺度。但如果要做距离计算或梯度下降，一定要标准化。

案例：一个数据预处理的完整流程

我来分享一个真实的项目流水线。当时做的是设备故障预测，数据来自多个传感器。

数据清洗流程（伪代码）：
1. 删除时间戳缺失的记录
2. 按设备ID和时间戳去重，保留最新记录
3. 将温度、振动等数值列的中位数填充缺失值
4. 删除“设备状态”缺失超过50%的列
5. 用Z-score方法检测温度异常，标记但不删除
6. 将所有数值特征进行Z-score标准化
7. 保存清洗后的数据及标记文件

这个流程看起来简单，但我在项目里反复调了好几次。比如第三步，一开始我用均值填充，后来发现传感器偶尔会有漂移，均值会被带偏，改成中位数就好了。

数据采集与预处理的知识框架

我把这一整套思路整理成了一张图，方便你对照：

这张图的逻辑很清晰：数据从源头出发，经过采集、清洗、缺失值处理、异常值检测，最后进入特征工程和建模。每一步都可能在后面产生连锁反应。

我自己在带团队时，要求项目必须先把这张图里的流程跑通，再谈模型调优。因为数据底子没打好，后面再怎么优化参数，都是白费力气。

记住一句：垃圾进，垃圾出。只要数据够干净、够真实，后面的参数优化和特征构建才能发挥威力。