VIP20
本课程属于：100-逐笔行情数据工程与接口开发 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

逐笔数据压缩存储格式比较

共计 30 章节
可可资料掘金营 · 点击在线试看
01
逐笔数据特征与压缩需求分析
逐笔成交与委托数据的字段结构 · 时间序列特性 · 数据规模与增长趋势
逐笔数据特征压缩需求分析
02
压缩存储格式评价指标体系构建
从压缩率 · 解压速度 · 随机读取性能
压缩存储格式评价…从压缩率
03
行式文本格式（CSV/JSON）在逐笔数据中的适用性剖析
以真实逐笔成交样本为例 · 实测CSV与JSON的存储开销 · 解析效率与查询灵活性
CSV/JSON行式文本格式
04
列式存储格式（Parquet/ORC）的逐笔数据压缩实践
针对逐笔数据字段多 · 重复度高的特点 · 设计Parquet与ORC的sche…
Parquet/ORC列式存储格式
05
二进制行式格式（Avro/Protocol Buffers）的逐笔数据序列化比较
使用Avro与Protobuf对逐笔… · 比较编码紧凑性 · 模式演进能力及反序列化开销
Avro/Protoco…Buffers
06
专用金融时序格式（FAST/FIX/ITCH）的压缩机制解析
剖析FAST的模板与运算符压缩 · FIX的标签值编码 · ITCH的二进制消息结构
FAST/FIX/ITC…专用金融时序格式
07
轻量级二进制编码格式（FlatBuffers/Cap'n Proto）的零拷贝访问评测
构建逐笔数据FlatBuffers与… · 测试零拷贝读取延迟 · 内存占用与跨语言支持
FlatBuffers/…Proto
08
压缩算法与存储格式的协同选型
对比Snappy · Zstd · LZ4
压缩算法存储格式的协同选…
09
逐笔数据字典编码与游程编码的格式级实现
针对交易所代码 · 订单类型等高重复字段 · 在Parquet/ORC中配置字典编…
逐笔数据字典编码游程编码的格式级…
10
时间戳与价格字段的位级压缩格式设计
设计针对逐笔数据时间戳（纳秒精度）和… · 并在自定义二进制格式中实现与评测
时间戳价格字段的位级压…
11
逐笔数据分区与分桶策略对存储格式的影响
基于交易日期 · 证券代码等维度设计Parquet/O… · 测试不同策略下的压缩率
逐笔数据分区分桶策略对存储格…
12
面向逐笔数据的索引结构与存储格式集成
在Parquet/ORC中利用页级索… · 在自定义格式中设计时间戳与代码索引 · 比较不同格式的随机点查与范围查询性能
面向逐笔数据的索…存储格式集成
13
逐笔数据压缩存储的写入性能与批量提交优化
对比各格式在批量写入 · 流式追加场景下的吞吐与延迟 · 优化Parquet行组大小
逐笔数据压缩存储…批量提交优化
14
逐笔数据解压读取的延迟分解与格式选择
通过微基准测试分解各格式的解压 · 解码 · 反序列化耗时
逐笔数据解压读取…格式选择
15
基于真实逐笔成交数据的格式对比实验设计
选取沪深Level-2逐笔成交与委托… · 设计控制变量实验 · 统一测试环境与指标采集方法
基于真实逐笔成交…Level-2
16
逐笔数据压缩率与查询性能的权衡分析
汇总各格式在压缩率 · 写入速度 · 点查延迟
逐笔数据压缩率查询性能的权衡分…
17
逐笔数据存储格式的元数据管理与模式演进
比较Parquet/ORC/Avro… · 元数据存储与版本兼容性方面的机制 · 设计支持逐笔数据字段扩展的存储方案
逐笔数据存储格式…模式演进
18
逐笔数据压缩存储的跨语言与生态兼容性评估
测试各格式在Python · Java · C++中的读写库成熟度与性能差异
逐笔数据压缩存储…生态兼容性评估
19
高频逐笔数据场景下的内存映射与零拷贝格式实践
使用FlatBuffers · 内存映射Parquet等方式实现逐笔… · 对比传统反序列化路径的延迟优势
高频逐笔数据场景…零拷贝格式实践
20
逐笔数据压缩存储的容错与校验机制设计
在自定义二进制格式与Parquet/… · 页级CRC等机制 · 测试数据损坏检测与恢复能力
逐笔数据压缩存储…校验机制设计
21
逐笔数据冷热分层存储的格式组合策略
根据数据访问频率设计热数据（低延迟格… · 并实现格式间转换与查询路由
逐笔数据冷热分层…根据数据访问频率…
22
基于DuckDB与ClickHouse的逐笔数据格式查询性能对比
将逐笔数据分别以Parquet · CSV · 原生列式格式导入DuckDB与Cli…
DuckDBClickHouse
23
逐笔数据压缩存储的基准测试工具与自动化流水线
使用ASV · JMH等工具构建格式对比基准测试套件 · 实现测试数据生成
逐笔数据压缩存储…自动化流水线
24
逐笔数据存储格式的压缩率提升技巧
字段重排 · 类型降级与编码优化：通过调整字段顺序 · 使用更紧凑的数据类型
逐笔数据存储格式…字段重排
25
面向回测引擎的逐笔数据格式选型与集成
分析回测引擎对逐笔数据读取模式（顺序… · 随机访问）的需求 · 选择合适格式并设计缓存与预加载机制
面向回测引擎的逐…集成
26
逐笔数据实时流式压缩存储的格式适配
针对实时逐笔流 · 比较Kafka中Avro/Proto… · 设计流式压缩存储管道
逐笔数据实时流式…针对实时逐笔流
27
逐笔数据压缩存储格式的安全与权限控制
评估各格式在字段级加密 · 访问控制方面的支持程度 · 设计满足合规要求的逐笔数据存储安全方…
逐笔数据压缩存储…权限控制
28
逐笔数据存储格式的长期归档与成本分析
基于云存储定价模型 · 计算不同格式的存储成本与访问成本 · 结合压缩率与查询频率给出归档格式推荐
逐笔数据存储格式…成本分析
29
综合实战
构建逐笔数据多格式存储与查询对比平台 · 开发一个支持多种格式写入 · 压缩率统计与查询基准测试的平台
综合实战构建逐笔数据多格…
30
逐笔数据压缩存储格式的未来趋势与选型决策框架
总结各格式的适用场景 · 构建基于业务需求 · 数据特征与运维成本的决策框架
逐笔数据压缩存储…选型决策框架