VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融历史行情湖仓数据生命周期实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=金融历史行情数据的特点 · 湖仓架构的价值 · 数据生命周期管理的整体框架与学习路径
课程导入目标=金融历史行…
02
金融行情数据基础
目标=股票 · 期货 · 期权
金融行情数据基础目标=股票
03
湖仓一体核心概念
目标=数据湖 · 数据仓库 · Lakehouse 的定义与区别
湖仓一体核心概念目标=数据湖
04
数据生命周期总览
目标=采集 · 存储 · 计算
数据生命周期总览目标=采集
05
行情数据采集
目标=交易所直连 · 第三方数据源 · API 拉取
行情数据采集目标=交易所直连
06
数据清洗与标准化
目标=缺失值 · 异常值 · 重复数据
数据清洗标准化
07
数据入湖策略
目标=分区设计 · 文件格式选择 · 小文件合并
数据入湖策略目标=分区设计
08
湖仓存储优化
目标=列式存储 · 压缩编码 · 索引
湖仓存储优化目标=列式存储
09
行情数据建模
目标=维度建模 · 宽表设计 · 星型与雪花模型
行情数据建模目标=维度建模
10
批处理计算
目标=Spark · Hive · Flink Batch 在历史行情…
批处理计算Spark
11
流处理计算
目标=Flink · Kafka Streams 在实时行… · 窗口计算
流处理计算Flink
12
数据质量管理
目标=完整性 · 准确性 · 一致性
数据质量管理目标=完整性
13
元数据与数据血缘
目标=元数据采集 · 血缘追踪 · 影响分析在湖仓行情数据治理中的实现与…
元数据数据血缘
14
数据安全与权限
目标=敏感数据识别 · 脱敏 · 加密
数据安全权限
15
数据服务层
目标=查询引擎选型 · OLAP 加速 · API 服务
数据服务层目标=查询引擎选…
16
历史行情回测支持
目标=点-in-time 数据 · 避免未来函数 · 复权处理
历史行情回测支持in-time
17
数据归档与冷热分层
目标=冷热数据识别 · 存储成本优化 · 归档策略
数据归档冷热分层
18
数据销毁与合规
目标=数据保留政策 · GDPR 与金融监管要求 · 安全销毁流程
数据销毁合规
19
性能优化实战
目标=查询加速 · 分区裁剪 · 谓词下推
性能优化实战目标=查询加速
20
成本优化实战
目标=存储成本 · 计算成本 · 网络成本的分析与优化手段
成本优化实战目标=存储成本
21
监控与运维
目标=任务调度 · 数据延迟 · 失败重试
监控运维
22
故障排查与恢复
目标=常见数据丢失 · 重复 · 延迟
故障排查恢复
23
综合案例一
目标=从零搭建日线行情湖仓 · 涵盖采集 · 清洗
综合案例一目标=从零搭建日…
24
综合案例二
目标=Tick 级实时行情湖仓 · 涵盖流式接入 · 窗口计算
综合案例二Tick
25
综合案例三
目标=多源行情数据融合与统一服务 · 涵盖数据标准化 · 实体对齐
综合案例三目标=多源行情数…
26
常见问题与避坑指南
目标=小文件 · 数据倾斜 · 时间分区
常见问题避坑指南
27
工具与生态选型
目标=开源与商业方案对比 · 云原生湖仓服务 · 数据编排
工具生态选型
28
团队协作与工程化
目标=代码规范 · CI/CD · 数据契约
团队协作工程化
29
前沿趋势与扩展
目标=AI 与行情数据 · 向量化查询 · 实时湖仓
前沿趋势扩展
30
课程总结与能力提升
目标=知识体系回顾 · 实战项目复盘 · 进阶学习路线与职业发展建议
课程总结能力提升