4. 数据源接入：催收系统数据源、第三方数据源、数据清洗与ETL流程
数据源接入是催收触达模型看板的基石。只有将分散在催收系统、第三方平台、历史记录中的原始数据，通过标准化的ETL流程清洗、整合、加载到分析层，才能保证看板指标的真实性与预警的及时性。本章将系统梳理数据源分类、接入方式与清洗规则。
4.1 催收系统数据源
催收系统是看板的核心数据来源，通常包含以下关键表与字段：
| 数据表 | 关键字段 | 用途 |
|---|---|---|
| 案件主表 | 案件ID、客户ID、逾期天数、委案金额、案件状态 | 案件分布与逾期结构分析 |
| 催收记录表 | 案件ID、催收员、催收时间、催收方式、结果码、通话时长 | 触达率、接通率、作业量统计 |
| 承诺还款表 | 案件ID、承诺金额、承诺日期、履约状态 | 承诺转化率与履约率监控 |
| 还款流水表 | 案件ID、还款金额、还款时间、还款渠道 | 回收率与回收时效分析 |
接入要点：催收系统通常提供API接口或数据库直连（JDBC/ODBC）。建议优先使用增量同步（基于更新时间戳或自增ID），避免全量抽取对生产库造成压力。同步频率建议为每15-30分钟一次，保障看板近实时性。
4.2 第三方数据源
第三方数据用于补充客户画像、失联修复与风险评级，常见接入类型如下：
- 运营商数据：客户在网时长、近3个月通话活跃度、常用联系人数量。用于失联概率评估与触达策略优化。
- 社保/公积金数据：工作单位稳定性、缴纳基数。用于还款能力分层。
- 司法涉诉数据：是否被列为失信被执行人、是否有在途诉讼。用于高风险案件标记。
- 多头借贷数据：近3个月申请平台数、当前在贷平台数。用于共债风险识别。
合规红线：第三方数据接入必须确保数据来源合法、用户授权清晰。严禁使用爬虫或未授权渠道获取数据。所有第三方数据需在ETL层脱敏处理，仅保留分析所需的衍生指标，不存储原始手机号、身份证号等敏感信息。
4.3 数据清洗与ETL流程
ETL（Extract, Transform, Load）是将原始数据转化为看板可用指标的核心环节。以下为催收场景下的标准ETL流程：
- 抽取（Extract）：从催收系统、第三方API、文件服务器（CSV/Excel）定时拉取增量数据。
- 清洗（Clean）：
- 去重：基于案件ID+催收时间戳去除重复记录。
- 空值处理：对缺失的催收结果码填充为“未知”，对缺失的通话时长填充为0。
- 异常值过滤：通话时长大于24小时、承诺金额为负数等明显异常数据标记并剔除。
- 格式统一：日期统一为YYYY-MM-DD HH:MM:SS，金额统一为分（整数存储）。
- 转换（Transform）：
- 衍生指标计算：逾期天数分段（M1/M2/M3+）、触达次数、首次触达时间、最近一次触达时间。
- 数据关联：将催收记录与案件主表关联，生成宽表。
- 聚合汇总：按案件、催收员、日期维度预计算接通率、承诺率、回收率。
- 加载（Load）：将清洗转换后的数据写入分析层数据库（如ClickHouse、MySQL、Doris），供看板查询。
ETL调度建议：使用Apache Airflow或DolphinScheduler编排任务。催收系统数据每30分钟调度一次，第三方数据每日凌晨批量同步。设置失败重试机制（最多3次）与告警通知，确保数据链路稳定。
4.4 数据质量监控规则
数据源接入后，必须建立自动化质量监控，避免脏数据污染看板。以下为催收场景下的核心监控规则：
| 监控项 | 规则描述 | 告警阈值 |
|---|---|---|
| 数据量波动 | 当日新增记录数与历史7日均值对比 | 波动超过±30%触发告警 |
| 空值率 | 关键字段（催收结果码、通话时长）空值占比 | 超过5%触发告警 |
| 重复率 | 案件ID+催收时间戳重复记录占比 | 超过1%触发告警 |
| 时效性 | 数据同步延迟时间（当前时间-最新记录时间） | 超过60分钟触发告警 |
最佳实践：在ETL流程末尾增加数据质量检查节点，将监控结果写入独立的质量看板。数据源接入初期，建议先进行为期一周的试运行，验证字段映射、清洗规则、调度频率无误后再正式上线。