📚 课程目录第3章成本台账数据源分析

3. 成本台账数据源分析

成本台账的数据来源决定了清洗策略与接口设计方向。本章从数据来源类型和字段结构两个维度展开分析，为后续的数据标准化与ERP对接奠定基础。

3.1 数据来源类型识别

根据企业实际业务场景，成本台账数据通常来自以下三类渠道：

来源类型	典型载体	数据特征	清洗难点
Excel 导入	.xlsx / .xls 文件	格式不统一、合并单元格、空行、日期文本混用	模板识别、单元格解析、公式残留
手工录入	Web 表单 / 桌面端录入界面	字段缺失、单位不一致、备注随意	校验规则缺失、重复提交、编码错误
上游系统	ERP / MES / OA 接口	结构化 JSON/XML、字段完整、时间戳精确	接口鉴权、字段映射、增量同步

实战经验：多数企业的成本台账同时混合上述三种来源。建议在清洗前先对每条记录打上 source_type 标签，便于后续按来源制定差异化的清洗规则。

3.2 字段结构分析

成本台账的核心字段可归纳为以下四类，每类字段在清洗时需关注不同的质量维度：

日期字段：记账日期、凭证日期、业务发生日期。常见问题包括格式不统一（2024-01-01 vs 2024/01/01 vs 20240101）、日期缺失、未来日期或历史日期超范围。
科目字段：成本科目编码、科目名称。常见问题包括编码与名称不匹配、科目层级缺失、使用了停用科目。
金额字段：借方金额、贷方金额、余额。常见问题包括正负号混乱、单位不一致（元 vs 万元）、精度丢失、空值或零值异常。
部门字段：成本中心编码、部门名称。常见问题包括编码规则不统一、部门名称简写、部门合并/拆分后未更新。

  字段结构检查清单：
  日期字段是否可转换为标准 YYYY-MM-DD 格式？
科目编码是否存在于科目字典表中？
金额字段是否包含非数字字符（如逗号、货币符号）？
部门编码是否与组织架构表一致？

3.3 数据源与字段的关联矩阵

不同数据来源对字段的覆盖程度差异显著，以下矩阵展示了常见场景：

字段	Excel 导入	手工录入	上游系统
日期	✅ 常有，格式混乱	✅ 必有，需校验	✅ 标准时间戳
科目	✅ 常有，编码不规范	⚠️ 可能缺失	✅ 标准编码
金额	✅ 必有，精度不一	✅ 必有，需校验	✅ 高精度
部门	⚠️ 可能缺失或简写	⚠️ 常缺失	✅ 标准编码

3.4 数据源流向与清洗节点

下图展示了成本台账数据从不同来源进入清洗管道的关键节点：

3.5 字段结构示例与清洗规则

以下是一个典型的成本台账原始数据示例，以及对应的清洗规则：

# 原始数据示例（模拟行）
日期,        科目编码, 科目名称,     借方金额, 贷方金额, 部门编码, 部门名称
2024/1/5,    5001,     原材料,        12000.00, 0,        D01,     生产一部
20240108,    5002,     人工成本,      0,        8500.00,  D02,     生产二部
2024-01-10,  5003,     制造费用,      3200.50,  0,        D01,     生产一部

# 清洗规则示例
1. 日期统一为 YYYY-MM-DD
2. 科目编码补零至4位（如 5001 → 05001）
3. 金额保留两位小数，去除千分位逗号
4. 部门编码统一为大写字母+数字格式

注意：上游系统接口返回的字段通常包含元数据（如 created_at、updated_at、version），这些字段在清洗阶段应保留，但不要参与业务字段的校验逻辑，避免因版本号差异导致数据被误判为脏数据。

3.6 数据源质量评估指标

在开始清洗前，建议对每个数据源进行质量评分，以便确定清洗优先级：

评估维度	Excel 导入	手工录入	上游系统
字段完整率	70% - 90%	60% - 80%	95% - 100%
格式合规率	50% - 80%	40% - 70%	90% - 100%
编码准确率	60% - 85%	50% - 75%	95% - 100%
清洗工作量	高	中高	低

通过上述分析，可以明确不同数据源的清洗重点：Excel 导入需重点处理格式与编码问题，手工录入需加强校验与补全，上游系统则需关注接口稳定性与字段映射一致性。