一、数据清洗概述：为什么我总说这是最脏的活儿

说实话，干了这么多年数据工程，我最怕听到的一句话就是——「数据已经准备好了」。每次听到这话，我心里就咯噔一下。因为所谓的「准备好了」，往往只是能打开、能读出来，离真正能用还差着十万八千里。

数据清洗，说白了就是给数据「洗澡」。把脏的、乱的、错的、缺的，统统处理干净。我见过太多项目，模型跑得飞起，结果因为数据没洗干净，上线后直接翻车。嗯，这章我们就聊聊这个看似基础、实则要命的话题。

1.1 什么是数据清洗

数据清洗（Data Cleaning），也叫数据清理或数据 scrubbing。它指的是检测和纠正（或删除）数据集中不准确、不完整、不合理、重复或格式不一致的记录的过程。

你想想看，现实世界的数据长什么样？

• 用户注册时手机号填了「138abc」—— 格式错误
• 传感器某天突然没信号 —— 缺失值
• 同一个客户录了两次 —— 重复数据
• 年龄字段出现「-5」—— 逻辑异常
• 「北京市」和「北京」混着写 —— 不一致

这些乱七八糟的情况，就是数据清洗要解决的问题。我记得有一次做电商数据分析，订单表里居然有 1970 年的记录，一看就是时间戳默认值没处理。这种脏数据不洗掉，分析结果能信吗？

1.2 为什么需要数据清洗

我直接说结论：脏数据进，垃圾结果出。这是数据领域最朴素的真理。

具体来说，不洗数据会带来这几个问题：

问题类型	实际影响	我见过的真实案例
分析结果偏差	统计指标失真，决策错误	某零售客户月活统计因重复用户数据虚高 30%
模型性能下降	准确率低、过拟合、泛化差	异常值没处理，回归模型被几个极端值带偏
存储与计算浪费	无效数据占用资源	日志表中 40% 是重复记录，白白浪费存储
合规风险	数据质量不达标，审计不过	金融项目因客户信息不一致被监管点名

1.3 数据清洗的流程

数据清洗不是一锤子买卖，它有一套成熟的流程。我个人习惯把它分成五个阶段：

1. 数据探查 —— 先摸清数据的底细。有多少行、多少列、什么类型、缺失情况、分布特征。这一步不做，后面全是盲人摸象。
2. 数据评估 —— 根据业务规则和数据标准，判断哪些数据有问题。比如年龄不能超过 150，手机号必须是 11 位。
3. 清洗执行 —— 动手处理。缺失值填充、异常值修正、重复去重、格式统一、噪声平滑等。
4. 质量验证 —— 清洗完了要检查。数据量对不对？分布有没有变？关键指标是否合理？
5. 文档记录 —— 这一步很多人忽略。清洗了什么、为什么这么处理、原始数据什么样，全都要记下来。不然三个月后你自己都看不懂。

下面这张图是我自己总结的清洗流程框架，你可以对照着看：

1.4 数据清洗的挑战

数据清洗看着简单，做起来全是坑。我踩过的、见过的，随便列几个：

• 业务理解不足 —— 不知道「正常」是什么，就没办法判断「异常」。比如某个字段允许为空，你硬给填了值，反而引入错误。
• 边界情况难处理 —— 缺失值是用均值、中位数还是众数填充？异常值是删除、修正还是保留？没有标准答案，全靠经验。
• 清洗影响扩散 —— 你改了一个字段，可能连带影响其他字段。比如修正了日期格式，关联的时间序列分析全乱了。
• 大规模数据性能 —— 几亿条数据做去重，不是简单调个函数就能跑的。我遇到过去重跑了两天还没跑完的尴尬情况。
• 可重复性 —— 清洗过程要能复现。今天洗和明天洗，结果应该一样。但很多人写脚本时没注意随机种子、没固定参数，导致每次结果不同。

1.5 一个简单的清洗示例

光说不练假把式。我拿一个最简单的例子演示一下：

# 原始数据：用户信息表
import pandas as pd

data = {
    'name': ['张三', '李四', '王五', '张三', '赵六', None],
    'age': [25, -3, 30, 25, 200, 28],
    'phone': ['13800138000', '139abc', '13712345678', '13800138000', '13600001111', None],
    'city': ['北京', '上海市', '广州', '北京', '深圳', 'beijing']
}

df = pd.DataFrame(data)
print("原始数据：")
print(df)
print()

# 清洗步骤
# 1. 删除重复行
df = df.drop_duplicates()

# 2. 处理缺失值（这里简单删除）
df = df.dropna(subset=['name'])

# 3. 修正异常年龄（0-120 为合理范围）
df = df[(df['age'] >= 0) & (df['age'] <= 120)]

# 4. 统一手机号格式（只保留纯数字且11位）
df['phone'] = df['phone'].apply(lambda x: x if (x and len(x) == 11 and x.isdigit()) else None)
df = df.dropna(subset=['phone'])

# 5. 统一城市名称
city_map = {'北京': '北京市', '上海市': '上海市', '广州': '广州市', '深圳': '深圳市', 'beijing': '北京市'}
df['city'] = df['city'].map(city_map)

print("清洗后数据：")
print(df)

你看，就这么几行数据，问题就不少。实际项目中，几百万行数据，问题只会更多、更隐蔽。