VIP11
本课程属于：036-Tick与Level2行情数据工程 智能金融与金融工程 · 共 11 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Tick乱序、重复与延迟数据处理实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=Tick数据在量化交易与实时系… · 乱序 · 重复与延迟问题的业务影响
课程导入Tick
02
Tick数据基础
目标=Tick的定义 · 数据结构 · 时间戳类型（交易所时间
Tick数据基础
03
乱序问题本质
目标=乱序产生的原因（网络抖动 · 多路合并 · 分布式采集）
乱序问题本质目标=乱序产生的…
04
重复数据问题本质
目标=重复产生的原因（重传 · 多源采集 · 消息队列至少一次语义）
重复数据问题本质目标=重复产生的…
05
延迟问题本质
目标=延迟的分类（网络延迟 · 处理延迟 · 排队延迟）
延迟问题本质目标=延迟的分类
06
时间语义与水位线
目标=事件时间 · 处理时间 · 摄入时间的概念
时间语义水位线
07
乱序数据处理方法概览
目标=缓冲排序 · 窗口聚合 · 增量计算
乱序数据处理方法…目标=缓冲排序
08
重复数据处理方法概览
目标=去重键设计 · 幂等写入 · 状态存储去重
重复数据处理方法…目标=去重键设计
09
延迟数据处理方法概览
目标=迟到数据丢弃 · 侧输出 · 重计算
延迟数据处理方法…目标=迟到数据丢…
10
数据质量监控体系
目标=乱序率 · 重复率 · 延迟分布
数据质量监控体系目标=乱序率
11
实战环境搭建
目标=模拟Tick数据生成器 · 消息中间件（Kafka/Pulsar…
实战环境搭建Tick
12
实战任务一
目标=基于事件时间的乱序Tick重排… · 使用水位线和允许迟到时间处理乱序数据
实战任务一Tick
13
实战任务二
目标=基于状态和幂等键的Tick去重 · 实现精确一次语义与重复数据过滤
实战任务二Tick
14
实战任务三
目标=延迟Tick的侧输出与补偿处理 · 设计迟到数据的旁路存储与重计算流程
实战任务三Tick
15
窗口计算实战
目标=滚动窗口 · 滑动窗口 · 会话窗口在乱序重复延迟场景下的聚合与…
窗口计算实战目标=滚动窗口
16
订单簿重建实战
目标=基于乱序Tick的订单簿增量重… · 处理重复更新与延迟快照的合并逻辑
订单簿重建实战Tick
17
指标计算实战
目标=VWAP · 成交量 · 波动率等指标在乱序重复延迟数据下的鲁…
指标计算实战VWAP
18
回测与实盘一致性
目标=乱序重复延迟处理对回测结果的影… · 如何保证回测与实盘处理逻辑一致
回测实盘一致性
19
状态管理与容错
目标=检查点 · 保存点 · 状态后端选型
状态管理容错
20
性能优化
目标=乱序缓冲内存控制 · 去重状态TTL · 延迟数据批量处理与背压调优
性能优化目标=乱序缓冲内…
21
常见问题一
目标=水位线设置过小导致大量迟到数据… · 如何诊断与调整
常见问题一目标=水位线设置…
22
常见问题二
目标=去重状态无限增长导致内存溢出 · 如何设计合理的状态过期与清理策略
常见问题二目标=去重状态无…
23
常见问题三
目标=多源Tick合并时时间戳冲突与… · 如何设计统一的时间对齐与去重规则
常见问题三Tick
24
常见问题四
目标=延迟数据补偿计算与实时结果不一… · 如何设计版本化结果与对账机制
常见问题四目标=延迟数据补…
25
案例研究一
目标=股票Level-2逐笔委托与逐…
案例研究一Level-2
26
案例研究二
目标=加密货币交易所多源Tick的延…
案例研究二Tick
27
案例研究三
目标=期货高频Tick在分布式采集下…
案例研究三Tick
28
综合提升一
目标=端到端Exactly-Once… · 涵盖采集 · 传输
综合提升一Exactly-Once
29
综合提升二
目标=数据质量SLA定义与告警 · 乱序重复延迟问题的自动化监控与自愈
综合提升二SLA
30
课程总结与进阶
目标=核心方法回顾 · 架构模式对比 · 未来趋势与持续学习资源推荐
课程总结进阶