1. 课程导入

在工业物联网、金融行情、电力监控、车联网等场景中，时序数据以“时间戳 + 测点值”的形式被持续写入。它不像业务数据库中的订单记录那样“一条就是一条”，而是以固定或近似固定的采样周期形成连续序列。一旦序列中出现缺失、重复、跳变、漂移或时间戳错乱，后续的告警、统计、训练和计费都会受到连锁影响。本课程要解决的核心问题，正是如何尽早发现这些质量问题，并在不破坏原始语义的前提下完成断点修复。

为什么时序数据质量问题如此普遍

时序数据质量问题的根源，通常不在“数据库写坏了”，而在采集、传输、存储、计算四个环节的边界上。采集端可能因为传感器掉电、网络抖动、采集程序重启而漏采；传输端可能因为消息队列积压、重复投递、乱序到达而产生重复或错序；存储端可能因为写入超时、分区切换、批量导入失败而留下空洞；计算端则可能因为窗口边界、时区处理、聚合逻辑不一致，把原本正常的数据“算成”异常。

更麻烦的是，这些问题往往不是孤立出现的。例如某台网关在 10:00:00 到 10:03:00 之间断网，恢复后补传了 3 分钟数据，但补传数据的时间戳是“补传时刻”而非“采集时刻”，于是同一测点出现了两段重叠时间区间。如果监控系统只检查“有没有空值”，就会漏掉这种“时间戳错位但值不为空”的隐蔽问题。

质量问题带来的实际影响

时序数据质量问题的代价，通常体现在三个层面。第一是业务判断失真：温度曲线缺了 5 分钟，可能让一次本应触发的过热告警被延迟；第二是统计与模型偏差：按小时聚合时，缺失点被默认填 0，会拉低均值、放大波动，导致容量规划偏保守或偏激进；第三是运维成本上升：当数据不可信时，工程师需要反复回查原始日志、比对多个系统，排障时间成倍增加。

因此，监控与修复的目标不是“把数据补满”，而是建立一套可度量、可追溯、可回滚的质量保障链路。具体来说，需要回答四个问题：哪里断了（定位断点）、断了多久（量化缺口）、为什么断（归因分类）、怎么补才合理（选择修复策略并验证）。

监控与修复的核心目标

监控的目标是“让问题可见”。一个可用的监控体系，至少应输出三类信息：断点位置（哪个测点、哪个时间区间）、缺口规模（缺失点数、持续时长、占窗口比例）、异常类型（缺失、重复、跳变、漂移、时间戳错乱）。只有把“问题”从模糊的“数据好像不对”变成可枚举的指标，后续修复才有依据。

修复的目标是“让数据可用且可追溯”。修复不是简单地用 0 或均值填满，而是要根据断点成因选择策略：采集端短时断连，可用前向填充或线性插值；传输端重复投递，应做去重并保留最早到达记录；存储端分区空洞，应从原始消息或备份中回放补写；对于长时间缺失且业务敏感的测点，才考虑用模型预测补全，并明确标记“预测值”而非“实测值”。

课程整体框架与学习路径

本课程共 30 章，按“认知—监控—修复—工程化”四条主线展开。前 6 章建立质量问题的分类体系和度量指标，让你能准确描述“哪里坏了”；第 7 到 15 章进入监控实战，覆盖断点检测算法、异常识别方法、告警分级与可视化；第 16 到 24 章聚焦修复，包括插值、去重、时间戳校正、模型补全和回滚机制；最后 6 章讨论工程化落地，包括质量 SLA、监控看板、修复流水线和复盘机制。

学习路径上，建议先掌握“断点检测”和“缺口量化”两个基础能力，再进入修复策略。因为如果连断点都定位不准，修复就无从谈起。每章都会给出可运行的示例参数和判断依据，例如采样周期 10s、缺口阈值 3 个点、插值误差回检阈值 5% 等，这些参数在真实项目中需要根据业务容忍度调整，但可以作为起步参考。