4. 数据采集层故障排查：数据源连接失败、数据格式异常、数据延迟到达的定位与修复方法

数据采集层是现金流周转率监控与预算占用分摊逻辑的“第一公里”。一旦采集层出现故障，上游计算与分摊逻辑将直接失效或产生错误结果。本章聚焦三类高频故障：数据源连接失败、数据格式异常、数据延迟到达，提供从定位到修复的完整排查路径。

4.1 故障分类与影响矩阵

4.2 数据源连接失败的定位与修复

4.2.1 定位步骤

1. 检查网络可达性：使用 ping 或 telnet 测试采集服务器到数据源（数据库、API、消息队列）的连通性。
2. 验证认证凭据：确认用户名、密码、 或证书是否过期，是否被轮换。
3. 查看连接池状态：检查连接池是否耗尽、是否被死连接占满。
4. 检查防火墙/安全组：确认采集节点 IP 是否被数据源端白名单拦截。

4.2.2 修复方案

4.3 数据格式异常的定位与修复

4.3.1 常见格式异常类型

• 字段类型不匹配：例如金额字段期望 decimal(18,2)，但源系统输出字符串 "12,345.67" 或科学计数法。
• JSON/XML 结构错误：缺少闭合标签、多余逗号、嵌套层级与预期 schema 不一致。
• 日期格式不一致：部分记录使用 yyyy-MM-dd，部分使用 MM/dd/yyyy 或时间戳。
• 空值与默认值混淆：源系统用 "N/A"、"NULL" 字符串表示空值，而非真正的 null。

4.3.2 定位方法

1. 启用采集日志的详细模式：记录每条原始记录的前 200 字符，便于快速定位异常行。
2. 使用 schema 校验器：在采集管道中插入 JSON Schema 或 Avro Schema 校验步骤，失败记录进入死信队列。
3. 对比样本数据：抽取最近 1000 条成功记录与失败记录，逐字段对比差异。

4.3.3 修复方案

amount_str = raw["amount"].replace(",", "")
amount = Decimal(amount_str)

from dateutil import parser
dt = parser.parse(raw["date"])

try:
    data = json.loads(raw_str)
except json.JSONDecodeError as e:
    log_error(f"JSON 解析失败: {e}, raw={raw_str[:200]}")

4.4 数据延迟到达的定位与修复

4.4.1 延迟判定标准

定义“延迟”需要基于业务容忍度。对于现金流周转率监控，通常设定以下阈值：

• 实时通道：延迟 > 5 分钟触发警告，> 15 分钟触发严重告警。
• 准实时通道（T+1）：延迟 > 30 分钟触发警告，> 2 小时触发严重告警。
• 批量通道：延迟 > 4 小时触发警告，> 12 小时触发严重告警。

4.4.2 定位步骤

1. 检查采集任务调度时间：确认任务是否按时触发，调度器是否存在积压。
2. 查看数据源侧生产时间：源系统是否按时生成数据？例如银行回单文件是否在约定时间前到达 SFTP。
3. 分析传输链路耗时：分段测量“源系统→采集服务器→清洗层→目标库”各环节耗时。
4. 检查下游消费能力：目标库写入是否出现锁等待或 IO 瓶颈，导致数据堆积。

4.4.3 修复方案

4.5 故障排查工具箱