3. 数据采集与ETL：商户基本信息、交易流水、行为日志、外部征信数据的采集与清洗

在商户风险评分模型的生命周期中，数据采集与ETL（Extract, Transform, Load）是决定模型上限的基础环节。本章聚焦于四类核心数据源：商户基本信息、交易流水、行为日志与外部征信数据。我们将从数据源特征、采集策略、清洗规则到ETL架构，系统梳理构建高质量训练数据集的全流程。

3.1 四类数据源的特征与采集策略

不同数据源在时效性、结构化程度、数据量级上差异显著，需要匹配差异化的采集方案。下表总结了四类数据源的核心特征与采集方式：

3.2 ETL核心流程：从原始数据到宽表

ETL过程将异构、多源、脏乱的原始数据转化为可供模型训练的“商户风险特征宽表”。标准流程包含三个主要阶段：

1. Extract（数据抽取）：对接各数据源，处理分库分表、增量断点、接口限流等工程问题。
2. Transform（数据转换）：执行清洗、去重、字段映射、异常值处理、时间窗口聚合等逻辑。
3. Load（数据加载）：将清洗后的数据写入分析型数据库（如ClickHouse、Doris）或特征存储（Feast）。

以下是一个典型的交易流水清洗代码片段，展示了去重、空值填充与异常金额过滤：

-- 交易流水清洗示例（Spark SQL）
WITH deduped AS (
  SELECT *,
         ROW_NUMBER() OVER (PARTITION BY trade_id ORDER BY event_time DESC) AS rn
  FROM raw_trade_flow
  WHERE dt = '${biz_date}'
)
SELECT
  merchant_id,
  trade_id,
  COALESCE(amount, 0.0) AS amount,
  COALESCE(trade_status, 'UNKNOWN') AS trade_status,
  CASE WHEN amount <= 0 OR amount > 1000000 THEN 0 ELSE 1 END AS amount_valid_flag,
  event_time
FROM deduped
WHERE rn = 1
  AND amount_valid_flag = 1;

3.3 数据质量校验规则

数据质量是模型可信度的前提。在ETL过程中，必须嵌入自动化校验规则，对每类数据源进行完整性、准确性、一致性与时效性检查。下表列出了关键校验项：

3.4 ETL数据架构与数据流向

为了直观展示四类数据源从采集到最终特征宽表的完整流向，下图呈现了ETL分层架构与核心组件：

3.5 外部征信数据的特殊处理

外部征信数据（如百行征信、朴道征信、同盾等）在采集与清洗中具有特殊性，需要额外关注以下三点：

• 数据授权与合规：必须保留完整的授权记录与查询日志，确保每次查询都有对应的商户授权凭证。清洗阶段不得删除授权链路字段。
• 多源数据融合：不同征信机构对同一指标（如“逾期天数”）的定义可能不同（M1/M2/M3的起算点差异），需要在清洗阶段统一映射到内部标准定义。
• 缺失值处理策略：外部征信查询可能因网络超时、接口限流等原因返回空值。建议在ETL中区分“查询失败”与“查询结果为空”，分别标记为 -999 与 -888，避免模型误学习。