4、数据清洗：处理重复、缺失、异常值，统一格式与货币单位

记账数据的价值不在于“记了多少笔”，而在于“能从中看出什么”。绝大多数个人或家庭账本在导入分析工具后，都会面临一个共同的现实：原始数据是“脏”的。重复的消费记录、缺失的分类标签、离谱的金额异常、五花八门的日期格式、混用的人民币与美元……如果不对这些数据进行清洗，后续的消费结构分析、趋势预测和预算制定都将建立在流沙之上。本章将系统讲解如何将“能看的账”转化为“能用的数据”，为消费决策打下可靠基础。

4.1 核心原理：为什么“脏数据”会误导消费决策

数据清洗的本质不是“把数据变好看”，而是消除数据中的系统性偏差与随机噪声，让分析结果能够真实反映消费行为。以个人记账为例，如果某笔餐饮消费被重复记录了两次，月度餐饮支出就会被高估；如果一笔大额购物缺少分类标签，它可能被归入“其他”而掩盖了真实消费结构；如果一笔金额为 4500 元的消费实际是 45.00 美元（按汇率约合 320 元人民币），那么这笔记录会严重扭曲单日或单月的支出分布。

从决策科学的角度看，消费决策依赖三个关键输入：支出总量、支出结构、支出趋势。重复值直接破坏总量准确性；缺失值导致结构分析失真；异常值让趋势判断产生剧烈波动；格式不统一则使跨时间、跨平台的汇总无法进行。因此，数据清洗是连接“记账行为”与“消费洞察”的必经桥梁。

4.2 重复值处理：识别与去重策略

重复记录是记账数据中最常见的问题，通常来源于三种场景：手动重复录入、同步工具重复导入、同一笔消费在多个支付平台被分别记录。处理重复值的关键在于区分“完全重复”与“近似重复”。

4.2.1 完全重复与近似重复的识别

操作流程：首先，按“日期 + 金额 + 交易对方”三个字段组合进行排序，人工或使用 Excel 的条件格式标记完全相同的行；其次，对于近似重复，需要结合“时间间隔（如 5 分钟内）”和“金额完全一致”两个条件进行模糊匹配；最后，对于跨平台重复，建议在记账工具中建立“支付渠道”字段，通过渠道互斥规则自动识别。

4.2.2 去重后的验证

去重后必须进行验证：对比去重前后的总支出金额差异，差异比例应小于 5%（视重复率而定）。如果差异过大，说明可能存在误删或漏删。建议在去重前先备份原始数据，并记录去重规则和删除条数，以便追溯。

4.3 缺失值处理：分类与金额的补全策略

缺失值在记账数据中主要表现为两类：分类缺失（这笔钱花在了哪里）和金额缺失（这笔消费花了多少钱）。分类缺失比金额缺失更常见，因为很多人在快速记账时会省略分类，而金额通常不会漏记。

4.3.1 分类缺失的三种补全方法

• 规则推断法：根据交易对方名称自动映射分类。例如“美团”、“饿了么”自动归入“餐饮-外卖”，“滴滴”、“高德”归入“交通-打车”。适用于有明确商户标识的记录。
• 历史数据匹配法：查找同一商户在过去 30 天内的历史分类，取出现频率最高的分类作为补全值。例如“永辉超市”历史记录中 80% 归入“食品-生鲜”，则缺失分类也归入此类。
• 人工补录法：对于无法通过规则或历史数据判断的记录，需要人工查看消费场景进行补录。建议每周固定时间处理一次，避免积压。

4.3.2 金额缺失的处理原则

金额缺失相对少见，但一旦出现必须谨慎处理。如果缺失金额的记录有对应的支付平台账单，应优先从账单中找回；如果无法找回，建议删除该记录而不是估算填充。因为估算金额会引入人为偏差，且该笔记录无法被审计验证。对于确实需要保留的记录，可以在备注中标注“金额待确认”，但不应参与后续统计。

4.4 异常值处理：识别真异常与合理波动

异常值是指明显偏离正常分布的数据点。在记账数据中，异常值既可能是录入错误（如多打一个零），也可能是真实的大额消费（如购买家电、支付学费）。处理异常值的核心是区分“错误”与“真实”，而不是一律删除。

4.4.1 基于 IQR 的异常值检测方法

四分位距法（IQR）是处理消费数据最实用的方法。具体步骤如下：

1. 将某分类（如“餐饮”）的月度消费金额按升序排列，计算下四分位数（Q1，即 25% 分位）和上四分位数（Q3，即 75% 分位）。
2. 计算 IQR = Q3 - Q1。
3. 设定异常值边界：下限 = Q1 - 1.5 × IQR，上限 = Q3 + 1.5 × IQR。
4. 超出边界的记录标记为“潜在异常值”。

例如，某用户 3 月份餐饮消费的 Q1 = 25 元，Q3 = 68 元，IQR = 43 元。则异常值下限 = 25 - 64.5 = -39.5（无意义），上限 = 68 + 64.5 = 132.5 元。任何单笔超过 132.5 元的餐饮消费都会被标记为潜在异常。此时需要人工判断：如果是一顿 300 元的商务宴请，属于真实消费，应保留；如果是误将 30 元录成 300 元，则需修正。

4.4.2 异常值的处理决策树

4.5 格式统一：日期、货币与分类标准化

格式统一是数据清洗中最繁琐但最必要的一步。它解决的是“同一件事在不同时间、不同平台记录方式不一致”的问题。格式不统一会导致排序错误、汇总偏差和跨期对比失真。

4.5.1 日期格式标准化

常见的日期格式包括“2024/3/15”、“2024-03-15”、“03/15/2024”、“2024年3月15日”等。建议统一为 ISO 8601 标准格式：YYYY-MM-DD（如 2024-03-15）。这种格式按字典序排列即时间顺序，便于排序和筛选。同时，建议增加“星期”字段（如周一至周日），便于分析消费行为的周期性规律。

4.5.2 货币单位统一

对于有跨境消费或持有外币资产的用户，货币单位统一至关重要。处理原则如下：

• 确定本位币：以记账人日常消费和收入的主要币种为本位币（通常为人民币）。
• 汇率折算规则：统一采用“交易日当天中国外汇交易中心公布的中间价”进行折算，并在备注中记录原始币种、金额和汇率。
• 避免汇率套利：不要使用“估算汇率”或“模糊汇率”，因为 1% 的汇率差异在年度汇总时可能造成数百元的偏差。

例如，一笔 45.00 美元的消费发生在 2024 年 3 月 15 日，当天美元兑人民币中间价为 7.1965，则折算人民币金额 = 45 × 7.1965 = 323.84 元。在数据表中应保留“原始金额：45.00 USD”、“折算金额：323.84 CNY”、“汇率：7.1965”三个字段。

4.5.3 分类体系标准化

个人记账的分类往往随意性较强，如“吃饭”、“餐饮”、“干饭”可能指同一类消费。建议建立二级分类体系：一级分类（如餐饮、交通、居住、娱乐、医疗、教育等）不超过 8 个，二级分类（如餐饮-早餐、餐饮-午餐、餐饮-晚餐、餐饮-外卖、餐饮-社交）控制在 20 个以内。清洗时将所有历史分类映射到标准分类体系中，并建立“别名映射表”以便后续自动匹配。

4.6 实战案例：从 2000 条混乱记录到 1850 条可用数据

下面通过一个完整案例，展示数据清洗的全流程。

背景与约束：某用户使用手机记账 App 记录了 2024 年第一季度的消费，导出后共 2000 条记录。用户发现数据存在明显问题：部分月份支出金额异常偏高，分类混乱，且包含少量外币消费。用户的目标是获得一份可用于月度预算分析的干净数据集。

初始现象：初步检查发现：完全重复记录 62 条；分类为“其他”或空白的记录 148 条；单笔金额超过 5000 元的记录 15 条（其中 3 条疑似录入错误）；日期格式有 3 种；包含美元消费 8 笔。

清洗过程：

1. 去重：按“日期+金额+交易对方”组合去重，删除 62 条完全重复记录；再按“时间间隔 10 分钟内+金额一致”识别出 18 条近似重复，人工核对后合并为 9 条。剩余记录 1929 条。
2. 缺失分类补全：通过商户名称规则映射补全 96 条（如“瑞幸”→餐饮-咖啡）；通过历史数据匹配补全 32 条；剩余 20 条人工查看消费场景后补录。分类缺失清零。
3. 异常值核查：对“餐饮”分类使用 IQR 法，标记出 12 笔超过上限的消费。核查后发现：2 笔为录入错误（300 元录成 3000 元），修正；3 笔为真实商务宴请，保留并备注；7 笔为家庭聚餐，归入“餐饮-社交”。对“购物”分类标记的 5 笔大额消费，核实后均为真实消费（电子产品、服装），保留。
4. 格式统一：将所有日期转换为 YYYY-MM-DD 格式；将 8 笔美元消费按交易日中间价折算为人民币，并保留原始币种字段；将 148 条“其他”分类按映射表重新归类到标准分类。

结果对比：清洗后有效数据 1850 条（删除 150 条无效记录）。月度总支出金额修正幅度：1 月下调 8.2%（去重+修正错误），2 月上调 3.5%（补全缺失分类后结构更准确），3 月基本持平。更重要的是，清洗后的分类结构显示：餐饮实际占比 28%（清洗前因“其他”分类过多仅显示 19%），交通占比 12%，娱乐占比 9%。基于清洗后的数据，用户发现每月外卖支出高达 1800 元，占餐饮总支出的 45%，从而制定了“每周外卖不超过 3 次”的优化决策。

4.7 常见误区与总结

数据清洗中最常见的误区有三个：过度清洗（为了追求数据完美而修改真实消费记录）、清洗不足（只处理完全重复，忽略近似重复和分类缺失）、缺乏追溯（清洗后不保留原始数据备份和修改日志）。

正确的做法是：将数据清洗视为一个持续优化的过程，而非一次性任务。每次清洗后，都应更新映射表、规则库和异常值判断标准，让下一次清洗更快更准。最终，清洗后的数据应当能够回答三个问题：我花了多少钱？花在了哪里？趋势如何变化？——这正是消费决策的数据基石。