4. 数据标准化：字段命名规范、日期格式统一、金额单位转换（元/万元）
数据标准化是成本台账清洗与财务报表合并的“通用语言”基础。来自不同业务系统（ERP、预算、报销、手工台账）的数据，在字段命名、日期表达、金额量级上往往存在巨大差异。本章聚焦三大核心标准化动作：字段命名规范、日期格式统一、金额单位转换，确保数据在进入合并接口前具备一致的结构与语义。
4.1 字段命名规范：消除“同名不同义、同义不同名”
字段命名混乱是数据合并的第一大障碍。例如，同一“成本中心”字段，在A系统叫 cost_center，在B系统叫 dept_code，在C系统叫 cc_id。标准化命名需遵循以下原则：
- 全小写+下划线：避免大小写敏感问题，如
cost_center、gl_account。 - 语义清晰：使用业务通用缩写，如
amt（金额）、qty（数量）、curr（币种）。 - 避免保留字：不使用SQL保留字（如
date、name）作为字段名，建议加前缀如txn_date、cost_name。 - 统一后缀：金额字段统一以
_amt结尾，日期字段以_dt结尾。
字段映射表示例（清洗前 → 标准化后）
| 源系统字段 | 标准化字段 | 数据类型 | 说明 |
|---|---|---|---|
| CostCenter | cost_center |
VARCHAR(20) | 成本中心编码 |
| GL_Account_Num | gl_account |
VARCHAR(15) | 总账科目 |
| TransactionDate | txn_dt |
DATE | 交易日期 |
| Amount_in_RMB | amt |
DECIMAL(18,2) | 金额（元） |
| Currency | curr |
VARCHAR(3) | 币种代码 |
4.2 日期格式统一：从“五花八门”到“标准DATE”
日期格式的常见乱象包括：2024/01/15、01-15-2024、20240115、15-JAN-2024、2024年1月15日。统一标准为 YYYY-MM-DD（ISO 8601），并转换为数据库DATE类型。
处理策略： 优先使用Python
pandas.to_datetime() 进行智能解析，对无法自动识别的格式（如“2024年1月15日”）使用自定义正则提取。
import pandas as pd
# 示例：统一日期格式
df['txn_dt'] = pd.to_datetime(df['raw_date'], errors='coerce').dt.strftime('%Y-%m-%d')
# 对中文日期格式做兜底处理
mask = df['txn_dt'].isna()
df.loc[mask, 'txn_dt'] = df.loc[mask, 'raw_date'].str.replace(r'(\d{4})年(\d{1,2})月(\d{1,2})日', r'\1-\2-\3', regex=True)
df['txn_dt'] = pd.to_datetime(df['txn_dt']).dt.date
避坑提醒： 日期统一必须在时区、夏令时、会计期间（如12月31日 vs 次年1月1日）等边界条件下做充分测试，避免因日期错位导致月度报表不平。
4.3 金额单位转换：元 ↔ 万元 的精确换算
成本台账中，部分系统以“元”存储，部分以“万元”存储，合并时必须统一到同一量级。通常财务报表合并以“元”为基准，但展示层可能用“万元”。标准化阶段统一转换为元，保留4位小数精度。
- 转换规则： 万元 → 元：乘以10000；元 → 万元：除以10000。
- 精度控制： 使用
DECIMAL(18,4)存储，避免浮点误差。 - 标识字段： 增加
amt_unit字段记录原始单位，便于追溯。
-- SQL 示例：将万元转换为元，并保留原始单位标识
UPDATE cost_ledger
SET amt = CASE
WHEN amt_unit = '万元' THEN amt * 10000
ELSE amt
END,
amt_unit = '元'
WHERE amt_unit IN ('万元', '元');
4.4 标准化流程总览
以下SVG图展示了从多源异构数据到标准化数据集的完整流程，涵盖字段映射、日期清洗、单位转换三大步骤。
4.5 标准化质量校验规则
完成标准化后，必须执行以下校验，确保数据质量满足合并接口要求：
| 校验项 | 规则 | 异常处理 |
|---|---|---|
| 字段完整性 | 必填字段无NULL | 标记为脏数据，退回源系统 |
| 日期有效性 | 日期在合理会计期间内 | 超出范围则置为NULL并告警 |
| 金额非负性 | 成本金额 ≥ 0 | 负数记录单独审核 |
| 单位一致性 | 所有金额字段单位均为“元” | 未转换的记录拒绝入库 |
| 命名合规性 | 字段名符合规范正则 | 自动重命名并记录映射日志 |
4.6 字段命名与单位转换的联动配置
在财务报表合并接口中，字段命名规范与金额单位转换必须联动配置。例如，接口要求传入 cost_center、gl_account、txn_dt、amt（单位：元），若源数据字段名为 Dept、金额单位为万元，则需同时完成映射与换算。
联动配置示例（JSON格式）：
{
"source_mapping": {
"Dept": "cost_center",
"GL": "gl_account",
"Date": "txn_dt",
"Amount": "amt"
},
"unit_conversion": {
"source_unit": "万元",
"target_unit": "元",
"multiplier": 10000
},
"date_format": {
"source_pattern": "%Y/%m/%d",
"target_pattern": "%Y-%m-%d"
}
}
通过上述标准化操作，成本台账数据将具备统一的“数据指纹”，为后续财务报表合并接口的稳定运行奠定坚实基础。