4. 缺失值处理策略：成本台账中缺失值的检测与填充

成本台账数据在采集、传输和转换过程中，常因系统故障、人为遗漏或接口不稳定产生缺失值。缺失值若不处理，会导致成本分摊偏差、聚合统计失真，甚至引发ERP系统过账失败。本节围绕Pandas的缺失值检测方法，以及均值、中位数、前向填充、业务规则填充四种策略，结合成本台账典型场景进行实战讲解。

4.1 缺失值检测：Pandas isna 与成本台账诊断

在Pandas中，缺失值通常表示为 NaN（Not a Number）或 None。检测缺失值的核心方法是 isna() 及其别名 isnull()。对于成本台账，我们重点关注以下字段的缺失情况：

检测代码示例：

import pandas as pd

# 加载成本台账数据
df = pd.read_csv('cost_ledger.csv')

# 检测整体缺失情况
print(df.isna().sum())

# 按行检测：是否存在任意字段缺失
rows_with_na = df[df.isna().any(axis=1)]
print(f"存在缺失值的行数: {len(rows_with_na)}")

# 按列检测缺失率
na_rate = df.isna().mean() * 100
print(na_rate[na_rate > 0])

4.2 填充策略对比与选择

针对成本台账的不同业务场景，我们采用四种填充策略。下表从适用场景、计算复杂度、业务风险三个维度进行对比：

4.3 均值与中位数填充实战

对于成本台账中的 unit_price 字段，如果缺失值比例低于20%，且数据分布无明显偏态，优先使用均值填充；若存在明显离群值（如个别物料单价异常高），则使用中位数填充。

# 均值填充
mean_price = df['unit_price'].mean()
df['unit_price_filled_mean'] = df['unit_price'].fillna(mean_price)

# 中位数填充
median_price = df['unit_price'].median()
df['unit_price_filled_median'] = df['unit_price'].fillna(median_price)

# 按物料类别分组填充（更精细）
df['unit_price_filled_group'] = df.groupby('material_category')['unit_price']\
                                   .transform(lambda x: x.fillna(x.median()))

4.4 前向填充：时间序列成本数据的处理

成本台账常按月份或批次记录。当某个月份的成本数据因系统延迟未写入时，前向填充（forward fill）可以沿用上一个有效值，保持成本趋势的连续性。

# 按时间排序后前向填充
df_sorted = df.sort_values(['cost_center', 'period'])
df_sorted['cumulative_cost_filled'] = df_sorted['cumulative_cost'].fillna(method='ffill')

# 限制最大填充步数（最多前向填充2个月）
df_sorted['cumulative_cost_limited'] = df_sorted['cumulative_cost']\
                                        .fillna(method='ffill', limit=2)

4.5 业务规则填充：ERP集成场景下的最佳实践

业务规则填充是成本台账缺失值处理中最可靠、但实现最复杂的方式。它依赖ERP主数据、历史交易记录和业务逻辑，通过规则引擎或查询映射来补全缺失值。常见规则包括：

• 物料编码缺失：根据物料描述模糊匹配ERP物料主数据表，取最相似编码。
• 成本中心缺失：根据部门-成本中心映射表，通过员工工号或部门编码推导。
• 单价缺失：查询最近一次采购订单的含税单价，或取标准成本估算值。
• 币种缺失：根据供应商所在国家或采购组织默认币种填充。

# 业务规则填充示例：根据物料描述匹配ERP主数据
def fill_material_code(row, erp_master):
    if pd.isna(row['material_code']):
        # 模糊匹配物料描述
        match = erp_master[erp_master['description'].str.contains(
            row['material_desc'], na=False)]
        if not match.empty:
            return match.iloc[0]['material_code']
    return row['material_code']

df['material_code'] = df.apply(
    lambda row: fill_material_code(row, erp_master_df), axis=1)

4.6 缺失值处理流程总览

下图展示了成本台账缺失值处理的完整决策流程，从检测到填充策略选择，再到填充后的验证：

4.7 填充策略选择矩阵

在实际项目中，我们根据字段类型和缺失模式选择填充策略。下表总结了成本台账常见字段的推荐填充方案：

4.8 填充后验证与质量报告

完成填充后，必须执行验证步骤，确保数据质量满足ERP集成要求。验证内容包括：

• 完整性验证：df.isna().sum().sum() == 0，确保无残留缺失值。
• 业务逻辑验证：检查填充后的物料编码是否存在于ERP主数据表中，成本中心是否有效。
• 统计分布验证：对比填充前后的均值、标准差、分位数，确保分布形态未发生剧烈变化。
• 过账模拟验证：将填充后的台账导入ERP测试环境，检查是否产生过账错误。

# 生成缺失值处理报告
report = {
    '原始缺失行数': len(df_original[df_original.isna().any(axis=1)]),
    '填充后缺失行数': len(df_cleaned[df_cleaned.isna().any(axis=1)]),
    '填充策略': '业务规则 + 中位数 + 前向填充',
    '填充字段': ['material_code', 'cost_center', 'unit_price', 'cumulative_cost'],
    '验证状态': '通过' if df_cleaned.isna().sum().sum() == 0 else '未通过'
}

print("缺失值处理报告:")
for key, value in report.items():
    print(f"  {key}: {value}")