VIP20
本课程属于：100-逐笔行情数据工程与接口开发 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

逐笔行情历史归档与检索

共计 30 章节
可可资料掘金营 · 点击在线试看
01
逐笔行情数据特征与归档需求分析
理解逐笔行情的数据结构（逐笔成交 · 逐笔委托 · 快照等）
逐笔行情数据特征归档需求分析
02
归档格式选型与设计原则
对比文本 · 二进制 · 列式存储等格式在逐笔行情归档中的优劣
归档格式选型设计原则
03
基于时间分片的归档目录规划
设计按交易日 · 小时或自定义时间窗口划分的目录层级 · 规划文件命名规范与元数据描述文件
基于时间分片的归…设计按交易日
04
逐笔行情数据清洗与标准化归档
处理原始行情中的乱序 · 重复 · 缺失与异常值
逐笔行情数据清洗标准化归档
05
归档写入性能优化与批量处理
分析逐笔行情高频写入的瓶颈 · 学习批量缓冲 · 异步IO
归档写入性能优化批量处理
06
归档压缩策略与存储成本控制
评估不同压缩算法（如gzip · zstd · lz4）对逐笔行情数据的压缩率与解压…
归档压缩策略存储成本控制
07
归档完整性校验与恢复机制
设计归档文件的校验和 · 索引与备份方案 · 实现写入过程中的故障恢复与数据一致性…
归档完整性校验恢复机制
08
构建归档元数据与索引体系
为每个归档文件生成元数据（时间范围 · 记录数 · 字段统计
构建归档元数据索引体系
09
基于时间范围的归档检索接口设计
定义按起止时间检索逐笔行情的API · 实现索引扫描与文件定位 · 处理跨文件
基于时间范围的归…API
10
基于证券代码与条件的过滤检索
在时间范围基础上增加证券代码 · 价格区间 · 成交量等条件过滤
基于证券代码条件的过滤检索
11
归档数据的分页与流式读取
针对大规模检索结果设计分页机制与流式… · 避免内存溢出 · 支持下游逐批消费
归档数据的分页流式读取
12
检索结果聚合与统计计算
在检索过程中实现按证券 · 时间窗口的聚合统计（如成交量 · 笔数
检索结果聚合统计计算
13
归档数据的随机抽样与回放
实现从归档中按时间或代码随机抽样逐笔… · 构建回放序列 · 用于策略回测与场景重现
归档数据的随机抽…回放
14
跨日与跨月归档的合并检索
处理时间跨度较大的检索请求 · 设计多文件合并读取与结果归并策略 · 解决时间边界对齐与重复记录问题
跨日跨月归档的合并检…
15
归档检索的缓存与预热机制
引入查询缓存与索引预热 · 减少重复检索的IO开销 · 设计缓存失效策略与内存管理
归档检索的缓存预热机制
16
基于列式存储的归档与检索优化
将逐笔行情按列式格式归档 · 利用列裁剪与向量化读取提升检索效率 · 对比行式存储的优劣
基于列式存储的归…检索优化
17
归档数据的分布式存储与检索扩展
设计归档文件在分布式文件系统或对象存… · 实现并行检索与结果汇总 · 处理网络延迟与数据本地性
归档数据的分布式…检索扩展
18
检索性能基准测试与调优
制定检索性能测试方案 · 覆盖不同时间范围 · 过滤条件与并发量
检索性能基准测试调优
19
归档生命周期管理与冷热分层
根据访问频率将归档数据分为热 · 温 · 冷层
归档生命周期管理冷热分层
20
归档数据的安全与访问控制
实现归档文件的加密存储 · 访问权限控制与审计日志 · 防止数据泄露与篡改
归档数据的安全访问控制
21
构建逐笔行情归档命令行工具
开发命令行工具 · 支持归档写入 · 检索
构建逐笔行情归档…开发命令行工具
22
归档检索服务化与API封装
将检索功能封装为HTTP或gRPC服… · 设计请求响应协议 · 错误处理与限流机制
API归档检索服务化
23
实时行情归档与检索的衔接
设计实时行情流到归档的管道 · 保证归档的实时性与完整性 · 并实现近实时检索接口
实时行情归档检索的衔接
24
归档数据质量监控与告警
建立归档数据质量指标（完整性 · 及时性 · 准确性）
归档数据质量监控告警
25
基于归档数据的回测数据准备
从归档中提取指定策略回测所需的历史逐… · 进行时间对齐与字段转换 · 生成回测引擎可用的数据格式
基于归档数据的回…从归档
26
归档检索在异常交易检测中的应用
利用归档检索提取特定模式（如对倒 · 拉抬）的逐笔记录 · 构建检测规则与查询
归档检索异常交易检测
27
归档数据的长期保存与格式迁移
制定长期保存策略 · 包括介质选择 · 定期校验与格式迁移计划
归档数据的长期保…格式迁移
28
归档系统容灾与备份恢复演练
设计容灾方案与备份策略 · 模拟归档文件损坏或丢失场景 · 执行恢复流程并验证数据完整性
归档系统容灾备份恢复演练
29
综合实战
构建端到端逐笔行情归档与检索系统 · 完成从数据接入 · 清洗
综合实战构建端到端逐笔行…
30
课程总结与进阶方向
回顾核心知识与技能 · 总结归档与检索的最佳实践 · 探讨未来技术趋势（如云原生
课程总结进阶方向