VIP11
本课程属于：036-Tick与Level2行情数据工程 智能金融与金融工程 · 共 11 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

高频行情压缩编码与存储优化实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=高频行情数据的特点 · 压缩编码与存储优化的学习目标 · 整体课程框架与实战路线图
课程导入目标=高频行情数…
02
高频行情数据基础
目标=逐笔委托 · 逐笔成交 · 快照行情的数据结构
高频行情数据基础目标=逐笔委托
03
数据压缩核心概念
目标=无损压缩与有损压缩 · 熵编码 · 字典编码
数据压缩核心概念目标=无损压缩
04
高频行情数据特征分析
目标=数据冗余类型 · 时间序列相关性 · 价格档位重复性
高频行情数据特征…目标=数据冗余类…
05
存储优化基础
目标=磁盘IO · 内存布局 · 列式存储与行式存储
存储优化基础IO
06
编码格式选型
目标=Protobuf · FlatBuffers · Cap'n Proto
编码格式选型Protobuf
07
整数压缩编码实战
目标=Varint · ZigZag · Group Varint
整数压缩编码实战Varint
08
时间戳压缩实战
目标=时间戳差分 · Delta-of-Delta · 帧对齐
时间戳压缩实战目标=时间戳差分
09
价格与数量字段压缩
目标=定点数表示 · 价格档位映射 · 数量分桶
价格数量字段压缩
10
订单簿快照压缩
目标=档位差分 · 稀疏编码 · 位图索引
订单簿快照压缩目标=档位差分
11
逐笔数据压缩
目标=逐笔委托与逐笔成交的字段级压缩 · 事件类型编码 · 序列号压缩与乱序处理
逐笔数据压缩目标=逐笔委托
12
字典编码与符号表
目标=高频重复字段的字典构建 · 动态字典更新 · 字典压缩与查询性能权衡
字典编码符号表
13
游程编码与位图编码
目标=连续相同值 · 稀疏变化 · 位图索引在行情数据中的实战应用与性能…
游程编码位图编码
14
熵编码进阶
目标=Huffman编码 · 算术编码 · rANS
熵编码进阶Huffman
15
列式存储实战
目标=Parquet与ORC在高频行… · 编码选择 · 谓词下推与压缩率调优
列式存储实战Parquet
16
内存数据库与缓存优化
目标=Redis · Aerospike · Memcached
内存数据库缓存优化
17
时序数据库选型
目标=InfluxDB · TimescaleDB · ClickHouse
时序数据库选型InfluxDB
18
文件存储格式设计
目标=自定义二进制格式 · 内存映射文件 · 分块压缩
文件存储格式设计目标=自定义二进…
19
压缩算法性能评估
目标=压缩率 · 压缩速度 · 解压速度
压缩算法性能评估目标=压缩率
20
实战案例一
目标=逐笔成交数据压缩编码全流程 · 从原始CSV到压缩二进制格式的完整实…
实战案例一目标=逐笔成交数…
21
实战案例二
目标=订单簿快照增量压缩与存储优化 · 实现毫秒级重建与历史回放
实战案例二目标=订单簿快照…
22
实战案例三
目标=基于Parquet的高频行情列… · 包含分区 · 排序
实战案例三Parquet
23
实战案例四
目标=内存映射与零拷贝技术在行情存储… · 实现低延迟读取与高吞吐写入
实战案例四目标=内存映射
24
常见问题与调优
目标=压缩率不达预期 · 解压速度慢 · 内存泄漏
常见问题调优
25
分布式存储与扩展
目标=分片 · 副本 · 一致性哈希
分布式存储扩展
26
数据安全与合规
目标=加密压缩 · 脱敏存储 · 审计日志
数据安全合规
27
综合提升一
目标=设计一个高频行情压缩存储系统 · 涵盖需求分析 · 架构设计
综合提升一目标=设计一个高…
28
综合提升二
目标=实现压缩存储系统的监控 · 告警 · 压测与故障恢复
综合提升二目标=实现压缩存…
29
综合提升三
目标=对比不同方案在真实高频行情数据… · 撰写评估报告与优化建议
综合提升三目标=对比不同方…
30
课程总结与展望
目标=核心知识点回顾 · 实战经验提炼 · 未来技术趋势与持续学习路径
课程总结目标=核心知识点…