📚 课程目录第4章数据源接入巡检

4. 数据源接入巡检：检查数据源接入稳定性、字段完整性及延迟监控

数据源是坏账率哨兵体系的“感知层”。核心系统、第三方征信与行为日志三类数据源的接入质量，直接决定了后续规则计算与预警的可靠性。本章聚焦接入巡检的三个核心维度：稳定性（连接是否持续可用）、字段完整性（必填项是否缺失）与延迟监控（数据到达时间是否超出SLA）。

4.1 三类数据源接入特征对比

数据源类型	典型接口/协议	稳定性风险	字段完整性风险	延迟敏感度
核心系统（账务/客户）	JDBC / WebService	连接池耗尽、DB主从切换	核心字段（客户ID、余额）非空约束	高（T+0实时）
第三方征信（央行/百行）	HTTP API / SFTP	网络抖动、限流、密钥过期	报告编号、查询原因、分数段	中（T+1）
行为日志（埋点/APP）	Kafka / Flume	Topic分区倾斜、消费者积压	设备ID、事件时间戳、页面路径	低（准实时，可容忍分钟级）

巡检优先级建议：核心系统接入稳定性应设为最高优先级（P0），因为账务数据一旦中断，坏账率计算将直接失效；第三方征信次之（P1）；行为日志允许短暂延迟（P2），但字段完整性不可妥协。

4.2 接入稳定性巡检清单

稳定性巡检采用“心跳探测 + 重试统计 + 熔断状态”三层机制。以下为每日自动巡检的核心指标：

连接成功率：最近1小时内成功请求数 / 总请求数 ≥ 99.5%
平均响应时间：核心系统 ≤ 200ms，征信API ≤ 1s，日志写入 ≤ 500ms
重试次数分布：单日重试超过3次的请求占比 ≤ 1%
熔断器状态：任何数据源连续5次超时或返回错误码，自动触发熔断并告警

-- 示例：核心系统连接稳定性巡检SQL（基于连接日志表）
SELECT
    source_name,
    COUNT(*) AS total_requests,
    SUM(CASE WHEN status = 'SUCCESS' THEN 1 ELSE 0 END) AS success_count,
    ROUND(SUM(CASE WHEN status = 'SUCCESS' THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 2) AS success_rate,
    ROUND(AVG(response_time_ms), 0) AS avg_response_ms
FROM connection_log
WHERE log_date = CURRENT_DATE
  AND source_type IN ('CORE', 'CREDIT', 'LOG')
GROUP BY source_name
HAVING success_rate < 99.5 OR avg_response_ms > 1000;

4.3 字段完整性巡检规则

字段完整性巡检采用“必填字段白名单 + 空值率阈值 + 枚举值合法性”策略。每张接入表或API响应体需配置独立的完整性规则。

数据源	必填字段	空值率阈值	枚举值校验
核心-客户表	cust_id, id_type, id_no, mobile	≤ 0.1%	id_type ∈ {01,02,03}
征信-报告接口	report_id, query_reason, score	≤ 0.5%	query_reason ∈ {01,02,03,04}
行为-事件日志	device_id, event_time, page_code	≤ 1%	page_code 长度=6位字母数字

常见陷阱：字段完整性巡检不能只检查“是否为NULL”，还需注意空字符串、全空格、默认值（如'0'或'1900-01-01'）等“语义空值”。建议在巡检规则中增加语义空值清洗函数，将上述情况统一标记为“缺失”。

4.4 延迟监控架构

延迟监控需要区分“数据产生时间”与“数据到达时间”。以下SVG图展示三类数据源的延迟监控链路与告警阈值。

4.5 延迟监控SLA阈值与处理动作

数据源	正常延迟	警告阈值	严重阈值	自动处理动作
核心系统	< 1分钟	1~5分钟	> 5分钟	切换备用连接、通知DBA
第三方征信	< 10分钟	10~60分钟	> 60分钟	降级为本地缓存数据、通知商务
行为日志	< 2分钟	2~10分钟	> 10分钟	扩容消费者、重置offset

  巡检执行建议：每日凌晨自动执行一次全量接入巡检，生成《数据源接入质量日报》，包含稳定性评分、字段完整性缺失TOP10、延迟超标次数。评分低于90分的数据源需在当日晨会通报，并指定负责人48小时内修复。

4.6 字段完整性巡检结果示例（模拟数据）

以下为某日巡检输出的字段完整性异常清单，用于指导数据治理团队定向修复：

数据源	表/接口	缺失字段	缺失率	影响行数	修复建议
核心系统	loan_account	overdue_days	3.2%	1,245	检查ETL映射，补充逾期计算逻辑
第三方征信	credit_report	query_reason	5.8%	876	联调征信接口，确认枚举值映射
行为日志	page_view	device_id	12.1%	9,340	修复前端埋点SDK，增加设备ID采集

注意：字段缺失率超过10%的字段，应视为“数据源接入重大缺陷”，需立即暂停该数据源在坏账率模型中的使用，直至修复完成并通过回归验证。