VIP15
本课程属于：034-金融数据采集与行情接口 智能金融与金融工程 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

行情采集断点续传与数据补录实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=行情采集断点续传与数据补录的学… · 核心价值 · 整体知识框架与实战路线图
课程导入目标=行情采集断…
02
行情数据基础
目标=行情数据类型 · tick与K线 · 时间戳
行情数据基础目标=行情数据类…
03
断点续传核心概念
目标=断点 · 续传 · 幂等
断点续传核心概念目标=断点
04
数据补录核心概念
目标=补录场景 · 缺失数据识别 · 时间窗口
数据补录核心概念目标=补录场景
05
采集架构设计
目标=生产者消费者模型 · 消息队列 · 缓冲层
采集架构设计目标=生产者消费…
06
断点状态管理
目标=状态存储选型 · Redis与数据库方案 · 状态更新时机
断点状态管理目标=状态存储选…
07
偏移量提交机制
目标=自动提交与手动提交 · 提交频率 · 至少一次与恰好一次语义
偏移量提交机制目标=自动提交
08
幂等写入实战
目标=唯一键设计 · 去重表 · 版本号
幂等写入实战目标=唯一键设计
09
数据补录触发机制
目标=定时检测 · 缺口扫描 · 告警驱动
数据补录触发机制目标=定时检测
10
缺口识别算法
目标=时间序列对齐 · 滑动窗口检测 · 阈值判断
缺口识别算法目标=时间序列对…
11
补录任务编排
目标=任务拆分 · 优先级 · 并发控制
补录任务编排目标=任务拆分
12
断点续传实战案例一
目标=WebSocket行情采集断线…
断点续传实战案例…WebSocket
13
断点续传实战案例二
目标=REST轮询采集基于时间戳与游…
断点续传实战案例…REST
14
数据补录实战案例一
目标=历史K线缺失补录与多数据源交叉…
数据补录实战案例…目标=历史K线缺…
15
数据补录实战案例二
目标=Tick数据按时间窗口批量回补…
数据补录实战案例…Tick
16
数据一致性保障
目标=事务 · 锁 · 版本控制
数据一致性保障目标=事务
17
容错与重试策略
目标=指数退避 · 抖动 · 最大重试次数
容错重试策略
18
监控与告警体系
目标=采集延迟 · 断点位置 · 补录进度
监控告警体系
19
性能优化
目标=批量写入 · 异步IO · 连接池
性能优化目标=批量写入
20
常见问题排查
目标=断点丢失 · 重复数据 · 乱序数据
常见问题排查目标=断点丢失
21
数据质量治理
目标=完整性 · 准确性 · 及时性
数据质量治理目标=完整性
22
多数据源融合
目标=主备源切换 · 数据优先级 · 冲突解决
多数据源融合目标=主备源切换
23
分布式采集断点续传
目标=多节点协调 · 分片采集 · 全局偏移量管理与故障转移
分布式采集断点续…目标=多节点协调
24
云原生与容器化部署
目标=Kubernetes · StatefulSet · 持久化存储
云原生容器化部署
25
安全与合规
目标=管理 · 数据加密 · 访问控制
安全合规
26
测试策略
目标=单元测试 · 集成测试 · 故障注入
测试策略目标=单元测试
27
综合实战项目一
目标=从零搭建支持断点续传与自动补录…
综合实战项目一目标=从零搭建支…
28
综合实战项目二
目标=对已有采集系统进行断点续传与数…
综合实战项目二目标=对已有采集…
29
生产环境运维
目标=部署 · 升级 · 备份恢复
生产环境运维目标=部署
30
课程总结与进阶
目标=知识体系回顾 · 最佳实践 · 前沿趋势与持续学习路径
课程总结进阶