4、交易数据基础：交易数据类型、数据字段、数据质量与清洗方法

产业链交易数据风控模型的有效性，首先取决于对交易数据本身的深刻理解。数据是风控模型的“原材料”，其类型划分、字段语义、质量状况与清洗策略，直接决定了模型的上限。本章将系统拆解交易数据的分类体系、核心字段结构、常见质量问题及标准化清洗流程，为后续构建风控特征与规则引擎奠定坚实基础。

4.1 交易数据类型全景

产业链交易数据并非单一维度的记录，而是由多个业务环节产生的结构化数据集合。从风控视角出发，交易数据可划分为四大核心类型，每一类都承载着不同的风控价值。

在实际业务中，这四类数据往往分散在不同系统中，需要通过主键（如订单号、合同号、物流单号）进行关联。风控模型必须能够处理这种多源异构数据的整合问题，否则极易出现“数据孤岛”导致的风险盲区。

4.2 核心数据字段定义与语义

数据字段是风控模型的最小信息单元。理解每个字段的业务含义、取值范围和关联关系，是特征工程的前提。以下为产业链交易数据中最核心的字段组及其风控含义。

4.2.1 交易主体字段

• 买方ID/卖方ID：企业统一社会信用代码或内部客户编号，用于识别交易对手方身份。
• 交易对手关联关系：是否存在关联公司、母子公司、同一实控人等，用于识别关联交易风险。
• 注册地址/经营地址：用于判断是否存在注册地与实际经营地不符的异常情况。

4.2.2 交易标的字段

• 商品编码（SKU/HS编码）：标准化商品标识，用于判断交易品类是否与企业经营范围一致。
• 商品名称/规格型号：辅助验证商品编码的准确性，防止编码滥用。
• 计量单位：吨、件、立方米等，需与商品属性匹配，防止单位换算错误。

4.2.3 交易金额与数量字段

• 订单金额/实付金额：区分含税与不含税，明确币种与汇率。
• 单价与数量：单价×数量应等于订单金额（允许合理误差），用于识别阴阳合同。
• 折扣/优惠金额：异常高折扣可能暗示利益输送。

4.2.4 时间与地点字段

• 下单时间/支付时间/发货时间/签收时间：四个时间点构成交易生命周期，时间间隔异常（如支付后立即发货）需关注。
• 发货地/收货地：与物流轨迹比对，识别虚假物流。

4.3 数据质量评估维度与标准

数据质量是风控模型的“生命线”。低质量数据即使使用再先进的算法，也只能产生“垃圾进、垃圾出”的结果。数据质量评估应从以下四个维度展开。

数据质量评估应形成常态化监控机制，建议每日运行质量检查脚本，输出质量报告并推送至数据治理团队。对于关键风控指标（如交易金额、交易对手），需设置更严格的质量门槛。

4.4 数据清洗方法体系

数据清洗不是简单的“删除坏数据”，而是通过一系列标准化操作，将原始数据转化为可用于风控建模的高质量数据。清洗流程应遵循“先诊断、后清洗、再验证”的原则。

4.4.1 清洗流程五步法

1. 数据探查：使用统计方法（均值、中位数、标准差、分位数）和可视化手段，初步了解数据分布与异常情况。
2. 去重处理：基于订单号、合同号、支付流水号等唯一标识，识别并合并重复记录。需注意区分“业务重复”与“数据重复”。
3. 缺失值处理：根据字段重要性和缺失比例，选择删除记录、填充默认值、或使用模型预测填充。对于风控关键字段（如交易金额），建议优先通过关联数据补齐。
4. 异常值检测与修正：使用3σ原则、IQR（四分位距）或业务规则识别异常值。例如，单价为负、数量为0、金额超过历史最大值10倍等。
5. 标准化与映射：统一单位、币种、日期格式、编码体系，建立数据字典和映射表。

4.4.2 清洗规则配置示例

-- 清洗规则示例（SQL逻辑）
-- 1. 去重：保留最新一条记录
DELETE FROM transaction_raw
WHERE id NOT IN (
  SELECT MAX(id) FROM transaction_raw
  GROUP BY order_no, payment_no
);

-- 2. 金额异常检测：单价超出历史均值±3σ
SELECT * FROM transaction_raw
WHERE unit_price < 0
   OR unit_price > (SELECT AVG(unit_price) + 3*STDDEV(unit_price) FROM transaction_raw);

-- 3. 日期标准化：统一为YYYY-MM-DD格式
UPDATE transaction_raw
SET order_date = DATE_FORMAT(order_date, '%Y-%m-%d')
WHERE order_date IS NOT NULL;

4.5 实战案例：某大宗商品贸易商的数据清洗闭环

背景与约束：某主营钢材贸易的企业，年交易额超50亿元，拥有ERP、银行银企直连、物流TMS三个系统。风控部门在构建交易监控模型时，发现三个系统的数据存在严重不一致问题。

初始现象：

• 同一笔订单在ERP中金额为含税价（13%增值税），在银行流水中为实际支付金额，两者差异约13%。
• ERP中订单状态为“已发货”，但TMS中无对应物流单号。
• 约5%的订单存在重复记录，原因是ERP与电商平台接口重复推送。

关键输入数据：抽取2024年1月-3月共12,847笔订单，涉及金额18.6亿元。经初步探查，发现金额不一致记录1,203笔（9.4%），物流缺失记录687笔（5.3%），重复记录642笔（5.0%）。

分析判断过程：

1. 金额不一致：通过抽样比对，确认是含税/不含税口径差异，需统一为不含税金额。
2. 物流缺失：进一步分析发现，其中约60%为“自提”业务（客户自行安排物流），属正常情况；剩余40%需人工核实。
3. 重复记录：通过订单号+支付流水号联合去重，确认重复来源为接口重推。

实际操作步骤：

-- Step1: 建立金额口径映射
UPDATE transaction_clean
SET amount_standard = 
  CASE WHEN amount_type = '含税' THEN amount / 1.13
       ELSE amount END;

-- Step2: 物流缺失标记
ALTER TABLE transaction_clean ADD COLUMN logistics_flag TINYINT;
UPDATE transaction_clean
SET logistics_flag = CASE 
  WHEN logistics_no IS NULL AND delivery_type = '自提' THEN 1
  WHEN logistics_no IS NULL THEN 0
  ELSE 1 END;

-- Step3: 去重（保留最早创建记录）
DELETE t1 FROM transaction_clean t1
INNER JOIN transaction_clean t2
WHERE t1.id > t2.id
  AND t1.order_no = t2.order_no
  AND t1.payment_no = t2.payment_no;

结果对比：清洗后，数据一致率从85.3%提升至98.7%，风控模型的特征计算误差降低约40%。原先因数据问题导致的“误报”订单从每月约200笔降至30笔以内。

风险与代价：清洗过程中发现约2%的订单因历史数据缺失无法完全修复，需在模型中设置“数据质量权重”进行降权处理。同时，清洗规则上线初期需业务部门配合人工复核，投入约2人周工作量。

复盘经验：数据清洗不是一次性工程，需建立持续监控机制。建议每月运行一次数据质量体检，重点关注新增数据源接入时的字段映射问题。

4.6 常见误区与总结

在交易数据清洗实践中，风控团队常陷入以下误区，需引起重视。