数据清洗入门：定义、重要性与常见问题

数据清洗，说白了就是给数据「洗澡」。

我做了这么多年仿真脚本，发现一个残酷的事实：80% 的时间花在洗数据上，只有 20% 的时间真正在做分析。你想想看，如果数据本身是脏的，再漂亮的模型也是白搭。

一、数据清洗的定义

数据清洗，就是检测和纠正数据集中错误、不完整、不准确或不合理记录的过程。嗯，这里要注意，它不是一次性的工作，而是贯穿整个数据生命周期的持续动作。

我个人习惯把数据清洗分成三个层次：

• 格式清洗：统一日期格式、单位、编码方式
• 内容清洗：处理缺失值、重复值、异常值
• 逻辑清洗：检查数据间的逻辑一致性

二、为什么数据清洗如此重要？

我在项目中遇到过好几次「数据看起来没问题，一跑模型就崩」的情况。后来发现，都是清洗没做到位。

具体来说，数据清洗的重要性体现在三个方面：

1. 保证分析结果的准确性——一个缺失值可能导致整个统计量偏移
2. 提升模型性能——干净的数据让模型收敛更快、泛化更好
3. 节省后续时间——前期花 1 小时清洗，后期可能省下 10 小时排错

三、常见数据质量问题

数据质量问题，说白了就三大类：缺失、重复、异常。我们一个一个来看。

1. 缺失值

缺失值是最常见的问题。为什么会缺失？可能是传感器故障、人工录入遗漏、数据传输丢包……原因很多。

处理缺失值，我常用的方法有：

方法	适用场景	注意事项
直接删除	缺失比例 < 5%	小心删除后样本量不足
均值/中位数填充	数值型数据	会降低数据方差
前向/后向填充	时间序列数据	适合缓慢变化的数据
模型预测填充	重要特征缺失	计算成本较高

# 一个简单的缺失值处理示例
import pandas as pd

# 读取数据
df = pd.read_csv('simulation_data.csv')

# 查看缺失情况
print(df.isnull().sum())

# 均值填充
df['temperature'].fillna(df['temperature'].mean(), inplace=True)

# 前向填充（时间序列）
df['pressure'].fillna(method='ffill', inplace=True)

2. 重复值

重复值，就是一模一样的数据出现了多次。你想想看，如果同一个实验数据被录入了两次，那统计结果肯定不准。

重复值的来源：

• 数据采集系统重复上报
• 人工录入时复制粘贴
• 多源数据合并时未去重

# 检测和删除重复值
# 检测完全重复的行
duplicates = df.duplicated()
print(f"重复行数：{duplicates.sum()}")

# 删除重复行
df.drop_duplicates(inplace=True)

# 按指定列去重（比如按时间戳）
df.drop_duplicates(subset=['timestamp'], keep='first', inplace=True)

3. 异常值

异常值，就是那些「明显不对劲」的数据。比如温度传感器突然跳到了 1000°C，或者压力值变成了负数。

检测异常值的方法：

方法	原理	适用场景
3σ 原则	超出均值±3倍标准差	正态分布数据
箱线图法	超出 IQR 的 1.5 倍	非正态分布数据
领域知识法	根据物理范围判断	所有场景

# 使用箱线图法检测异常值
Q1 = df['sensor_value'].quantile(0.25)
Q3 = df['sensor_value'].quantile(0.75)
IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 标记异常值
df['is_outlier'] = (df['sensor_value'] < lower_bound) | (df['sensor_value'] > upper_bound)

# 查看异常值
print(df[df['is_outlier']])

四、本章知识体系

下面这张图，是我自己总结的数据清洗知识框架。每次做清洗前，我都会对照着走一遍流程。

这张图把数据清洗的核心内容都串起来了。你想想看，每次拿到新数据，是不是都可以按这个框架走一遍？

可可精品资料库