VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Parquet与Arrow金融列式数据工程实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=金融数据工程挑战 · 列式存储与内存计算的价值 · Parquet与Arrow的定位
课程导入目标=金融数据工…
02
金融数据特征与列式存储基础
目标=金融数据类型 · 时间序列 · 行情快照
金融数据特征列式存储基础
03
Parquet格式深入
目标=文件结构 · 行组 · 列块
Parquet格式深入
04
Arrow内存格式深入
目标=列式内存布局 · 零拷贝 · 缓冲区
Arrow内存格式深入
05
环境搭建与工具链
目标=Python · PyArrow · Pandas
环境搭建工具链
06
使用PyArrow读写Parquet
目标=基本API · Schema定义 · 分区写入
PyArrowParquet
07
金融数据ETL流程设计
目标=数据抽取 · 清洗 · 转换
ETL金融数据
08
行情数据存储实战
目标=Tick数据 · K线数据 · 快照数据
行情数据存储实战Tick
09
订单簿与高频数据实战
目标=Level-2数据 · 订单簿重建 · 时间对齐
订单簿高频数据实战
10
基本面与参考数据实战
目标=财务报表 · 公司行动 · 股票池
基本面参考数据实战
11
Arrow计算引擎入门
目标=Acero · Compute Functions · 表达式
Arrow计算引擎入门
12
Pandas与Arrow集成
目标=Arrow-backed Da… · 零拷贝转换 · 内存优化与性能对比
PandasArrow
13
Polars与Arrow实战
目标=惰性计算 · 查询优化 · 流式处理
PolarsArrow
14
DuckDB与Parquet分析
目标=SQL查询Parquet · 外部表 · 分区裁剪
DuckDBParquet
15
金融因子计算与特征工程
目标=滚动窗口 · 分组聚合 · 时间序列运算
金融因子计算特征工程
16
回测数据管道实战
目标=多资产数据对齐 · 复权处理 · 幸存者偏差
回测数据管道实战目标=多资产数据…
17
实时与准实时数据流
目标=Arrow Flight · 流式写入 · 微批处理
实时准实时数据流
18
性能优化与调优
目标=Parquet行组大小 · 压缩编码选择 · Arrow内存池
性能优化调优
19
云原生与分布式存储
目标=S3 · HDFS · Delta Lake
云原生分布式存储
20
数据安全与合规
目标=加密 · 脱敏 · 访问控制
数据安全合规
21
常见问题与故障排查
目标=Schema不匹配 · 内存溢出 · 读取缓慢
常见问题故障排查
22
综合案例一
目标=构建日频行情数据仓库 · 从CSV到Parquet · 使用Arrow与DuckDB进行因子…
综合案例一目标=构建日频行…
23
综合案例二
目标=高频Tick数据研究平台 · 使用Parquet分区 · Arrow内存计算与Polars进行…
综合案例二Tick
24
综合案例三
目标=多因子回测数据管道 · 整合基本面与行情数据 · 使用Arrow Flight提供低延…
综合案例三目标=多因子回测…
25
测试与数据质量保障
目标=单元测试 · 数据校验 · Schema契约
测试数据质量保障
26
监控与运维
目标=性能指标 · 日志 · 告警
监控运维
27
与其他格式对比
目标=CSV · JSON · ORC
其他格式对比CSV
28
生态与未来趋势
目标=Arrow生态 · Parquet演进 · GPU加速
生态未来趋势
29
项目实战
目标=从零构建一个端到端金融数据工程… · 涵盖采集 · 存储
项目实战目标=从零构建一…
30
课程总结与进阶
目标=核心知识点回顾 · 最佳实践 · 常见陷阱
课程总结进阶