3. 数据采集与接入：商户交易流水、工商信息、黑名单、外部征信数据的ETL流程设计
在商户风险评分模型的生产化部署中，数据采集与接入是决定模型效果上限的关键环节。本章聚焦于四类核心数据源——商户交易流水、工商信息、黑名单、外部征信数据——的ETL流程设计，涵盖数据抽取、清洗、转换、加载及质量监控的全链路规范。
3.1 数据源分类与接入特征
不同数据源在接入方式、更新频率、数据格式上存在显著差异。下表梳理了四类数据源的核心接入特征：
| 数据源类型 | 接入方式 | 更新频率 | 典型数据量级（日） | 主要挑战 |
|---|---|---|---|---|
| 商户交易流水 | Kafka / 数据库Binlog | 实时 / 准实时（秒级） | 百万～千万级 | 高吞吐、乱序、重复交易 |
| 工商信息 | API接口 / 文件批量 | 每日 / 每周 | 万级 | 字段变更、数据滞后 |
| 黑名单 | 文件推送 / 数据库同步 | 每日 / 实时 | 千～万级 | 多源合并、去重、时效性 |
| 外部征信数据 | API接口（REST/SOAP） | 按需 / 每日 | 十万级 | 接口限流、计费、字段映射 |
设计原则： 交易流水采用流式处理（Streaming ETL），其余三类采用批处理（Batch ETL）。流批分离可避免高吞吐数据对批处理任务的资源抢占。
3.2 ETL流程总体架构
下图展示了商户风险评分模型数据采集与接入的ETL总体架构，涵盖从数据源到特征存储的完整链路：
3.3 各数据源ETL流程详解
3.3.1 商户交易流水ETL
交易流水是风险模型最核心的实时特征来源。其ETL流程采用流处理架构，关键步骤包括：
- 数据抽取：通过Kafka订阅商户交易Topic，或监听数据库Binlog变更（如Debezium）。
- 数据清洗：过滤测试交易、金额为0或负值的异常记录；处理乱序事件（Watermark机制）。
- 数据转换：统一时间戳格式为UTC；将商户ID、交易类型、金额等字段映射到标准Schema。
- 特征计算：在流中滑动窗口聚合（如近1小时交易笔数、近7天交易总额）。
- 数据加载：写入实时特征存储（如Redis / HBase）和离线数仓（如Hive / Iceberg）。
避坑指南： 交易流水ETL必须实现幂等性和至少一次语义。建议在Kafka消息中携带全局唯一ID（如交易流水号+时间戳），下游去重时以此为准。
3.3.2 工商信息ETL
工商信息更新频率低但字段结构复杂，适合每日批处理：
- 增量抽取：通过API接口获取变更记录（如企业名称、法人、注册资本、经营状态变更）。
- 全量快照：每周拉取一次全量数据，用于重建维度表。
- 字段清洗：统一企业信用代码格式（18位校验）；处理缺失值（如注册资本为空时填充-1）。
- 缓慢变化维处理：采用SCD Type 2策略，保留历史变更记录，支持时间点回溯。
3.3.3 黑名单数据ETL
黑名单数据对时效性和准确性要求极高，需多源合并：
| 黑名单来源 | 匹配字段 | 更新策略 | 去重规则 |
|---|---|---|---|
| 内部历史违约商户 | 商户ID、法人身份证 | 实时写入 | 以商户ID为主键 |
| 监管机构黑名单 | 企业名称、统一信用代码 | 每日文件推送 | 模糊匹配+人工复核 |
| 行业共享黑名单 | 手机号、设备指纹 | API实时查询 | 精确匹配+置信度阈值 |
注意： 黑名单ETL必须保留匹配日志（命中时间、来源、匹配方式），用于后续模型评估和审计追溯。禁止直接覆盖历史黑名单记录。
3.3.4 外部征信数据ETL
外部征信数据通常通过API按需查询，需重点处理接口限流和成本控制：
- 请求队列管理：使用令牌桶算法控制请求速率，避免触发供应商限流。
- 缓存策略：对同一商户的征信报告设置TTL（如7天），减少重复调用。
- 字段映射：将外部返回的JSON/XML字段映射到内部标准特征表。
- 异常处理：接口超时、返回空值、HTTP 5xx时，使用降级策略（如使用历史快照或默认值）。
- 计费审计：记录每次API调用的时间、商户ID、计费金额，用于成本分摊。
3.4 数据质量监控体系
ETL流程必须内置数据质量监控，确保进入特征存储的数据可靠。下图展示了质量监控的关键维度与告警机制：
3.5 ETL调度与依赖管理
ETL任务需通过调度系统（如Airflow / DolphinScheduler）管理依赖关系：
- 任务DAG设计：交易流水ETL为独立流任务；工商、黑名单、征信批任务按数据就绪状态触发。
- 依赖规则：特征存储写入任务必须等待所有上游ETL完成；若任一数据源质量告警，则阻断模型推理。
- 重试与补偿：批任务失败自动重试3次，间隔5分钟；流任务通过Kafka offset回溯实现数据补偿。
最佳实践： 在ETL调度中引入数据血缘追踪，记录每个特征的来源表、ETL任务ID、处理时间戳。当模型出现异常时，可快速定位数据链路问题。
3.6 本章小结
数据采集与接入是商户风险评分模型的基础工程。本章详细阐述了四类核心数据源的ETL流程设计要点：
- 交易流水采用流处理架构，关注幂等性和乱序处理；
- 工商信息采用批处理+SCD策略，保留历史变更；
- 黑名单数据需多源合并+匹配日志，确保审计可追溯；
- 外部征信数据需限流+缓存+降级，控制成本与稳定性；
- 数据质量监控覆盖完整性、准确性、一致性、时效性、波动性五大维度。