1. 课程导入
在金融行情系统的日常运行中，采集链路中断几乎是必然事件：网络抖动、交易所网关限流、采集进程崩溃、磁盘写满、上游推送延迟，都会让行情数据出现缺口。真正决定系统质量的，不是"永不中断"，而是中断之后能否准确、快速、可验证地把数据补齐。本课程围绕这一核心命题展开，帮助你建立从断点识别、状态持久化、续传调度到数据补录与一致性校验的完整能力。
一、学习目标：从"能采"到"采得全、补得准"
本课程不是单纯讲解某个采集框架的 API，而是以工程化视角构建一套可落地的方法体系。完成学习后，你应当具备以下能力：
- 识别断点：能够区分序列号断档、时间戳跳变、文件分片缺失、消息队列位点回退等不同断点类型，并判断其严重程度。
- 持久化采集状态：掌握位点、偏移量、快照、水位线等状态存储方式，理解"至少一次"与"精确一次"在行情场景下的取舍。
- 设计续传策略：能根据行情类型（逐笔、快照、K线）选择重连、重放、回补或重建等不同续传路径。
- 实现数据补录：能够对接历史行情接口、归档文件或备份库，完成缺失区间的补录与去重。
- 校验与复盘：建立数据完整性指标，定位补录失败根因，形成可复用的排障清单。
学习目标可以概括为一句话：让每一条行情数据都有明确的"到达证明"，让每一个缺口都有可执行的"补齐路径"。
二、核心价值：为什么断点续传与补录是行情系统的生命线
行情数据具有强时效性与强连续性。一旦出现缺口，影响会沿着数据链路向下游扩散：
| 缺口类型 | 典型影响 | 业务后果 |
|---|---|---|
| 逐笔成交缺失 | 成交量、成交额统计偏差 | 策略回测失真、风控指标错误 |
| 快照断档 | 盘口重建失败、价差计算异常 | 做市报价偏离、监控告警误报 |
| K线不连续 | 技术指标跳变、均线断裂 | 信号误触发、图表展示异常 |
| 位点回退 | 重复消费、数据重复写入 | 统计口径重复计算、存储膨胀 |
因此，断点续传与数据补录的价值不仅在于"恢复采集"，更在于保障数据资产的可信度。对于量化研究、实时风控、合规审计等场景，一条缺失的逐笔记录可能意味着一次错误的交易决策。掌握这套能力，等于为行情系统加上了一道可验证的安全网。
三、整体知识框架：四层能力模型
本课程的知识体系可以拆解为四个层次，从底向上依次是状态层、传输层、补录层和校验层。它们共同构成一个闭环：
四层之间并非孤立：状态层提供断点依据，传输层执行续传动作，补录层修复历史缺口，校验层验证最终一致性。任何一层缺失，都会导致"看似恢复、实则仍有空洞"的假象。
四、实战路线图：从单机采集到生产级补录
为了让学习路径清晰可执行，本课程将实战路线划分为五个阶段，每个阶段都有明确的交付物：
- 阶段一：断点识别与状态建模——梳理行情源协议，定义序列号、时间戳、分片编号等断点标识，设计状态存储结构。
- 阶段二：续传机制实现——实现重连退避、位点提交、重放窗口控制，确保中断后能从正确位置继续。
- 阶段三：补录通道搭建——对接历史行情接口或归档文件，编写区间补录任务，处理去重与乱序。
- 阶段四：校验与监控——建立缺口检测规则、完整性指标和对账任务，输出可观测的补录报告。
- 阶段五：故障演练与复盘——模拟网络中断、进程崩溃、磁盘故障，验证续传与补录的鲁棒性。
建议在学习过程中同步维护一份"断点类型—续传策略—补录来源"对照表，每完成一个阶段就补充真实案例，最终形成自己的排障手册。
五、常见误区与提前复盘
在正式进入技术细节之前，先明确几个高频误区，可以避免走弯路：
- 误区一：只做重连，不做位点持久化。进程重启后从最新位置开始，中间缺口被永久跳过。
- 误区二：认为补录就是重新拉全量。全量重拉成本高、易重复，且可能覆盖已修正数据。
- 误区三：忽略去重与幂等。续传和补录叠加时，重复写入会污染统计结果。
- 误区四：没有校验环节。补录完成不等于数据正确，缺少对账就无法发现隐性缺口。
断点续传与数据补录的难点不在"写代码"，而在"定义清楚什么算断、什么算齐、什么算准"。先把状态模型和校验规则想清楚，再动手实现，返工成本会大幅降低。
接下来的章节将沿着上述路线图逐层展开，从状态建模开始，逐步进入续传实现、补录通道、校验监控和故障演练。你将看到真实的配置片段、日志样例和排障过程，最终能够独立设计并落地一套可验证的行情采集补录体系。