VIP20
本课程属于：012-高频行情数据标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark处理高频行情标签案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
高频行情数据定义 · 标签概念 · Spark在行情处理中的优势
课程导论高频行情数据定义
02
高频行情数据源解析
Level-2行情快照 · 逐笔成交 · 逐笔委托的数据结构
高频行情数据源解…Level-2
03
Spark环境搭建与配置
Spark集群模式选择 · Session初始化 · 核心参数调优（shuffle分区
Spark环境搭建
04
数据接入层设计
使用Spark Streaming或… · 实现Exactly-Once语义
数据接入层设计Spark
05
原始行情数据清洗
去重 · 空值处理 · 异常价格过滤
原始行情数据清洗去重
06
行情数据Schema定义
使用StructType定义快照 · 成交 · 委托的强类型Schema
Schema行情数据
07
标签体系设计方法论
标签分类（统计类 · 事件类 · 衍生类）
标签体系设计方法…标签分类
08
基础统计标签计算
使用groupBy+agg计算分钟级… · 最低价 · 成交量
基础统计标签计算groupBy+agg
09
盘口深度标签
买卖十档价差 · 委买委卖总量比 · 加权深度斜率
盘口深度标签买卖十档价差
10
逐笔成交标签
大单判定（金额/股数阈值） · 主动买/卖方向识别 · 大单资金流向统计
逐笔成交标签大单判定
11
逐笔委托标签
撤单率 · 委托频次 · 订单簿更新频率
逐笔委托标签撤单率
12
时间序列特征标签
使用窗口函数计算过去N笔的价格变化率 · 波动率 · 动量因子
时间序列特征标签使用窗口函数计算…
13
微观结构标签
买卖价差 · 有效价差 · 价格冲击系数
微观结构标签买卖价差
14
事件驱动标签
涨停/跌停预警 · 瞬时巨量成交 · 盘口异常挂单撤单
事件驱动标签涨停
15
标签计算性能优化
数据分区策略（按股票代码+日期） · 缓存中间结果 · 避免Shuffle的算子优化
标签计算性能优化数据分区策略
16
使用UDF/UDAF自定义标签
注册Python/Scala UDF… · 如自定义波动率算法
UDF/UDAF使用
17
标签数据持久化
写入Parquet/Delta La… · HBase宽表 · ClickHouse实时查询
标签数据持久化Parquet/Delt…
18
标签质量监控
数据完整性校验 · 标签值域检查 · 延迟监控
标签质量监控数据完整性校验
19
实时标签计算Pipeline
使用Structured Strea… · 输出到Redis/MySQL
Pipeline实时标签计算
20
批流一体标签架构
Lambda架构 vs Kappa架… · Delta Lake实现批流统一存储…
批流一体标签架构Lambda
21
标签回测系统
基于历史标签数据模拟交易策略 · 计算夏普比率 · 最大回撤等绩效指标
标签回测系统基于历史标签数据…
22
标签可视化
使用Superset/Grafana… · 绘制K线叠加标签信号 · 资金流向热力图
标签可视化Superset/Gra…
23
案例实战一
基于盘口深度标签的瞬时反转策略 · 从标签计算到信号生成全流程
案例实战一基于盘口深度标签…
24
案例实战二
基于大单资金流标签的动量策略 · 使用Spark ML进行标签特征工程
案例实战二基于大单资金流标…
25
案例实战三
基于微观结构标签的高频做市商策略 · 实现买卖双边报价信号
案例实战三基于微观结构标签…
26
案例实战四
基于事件驱动标签的闪崩预警系统 · 结合CEP引擎实现复杂事件处理
案例实战四基于事件驱动标签…
27
Spark调优专项
数据序列化（Kryo） · 内存管理（Tungsten） · 动态资源分配
Spark调优专项
28
生产环境部署
Spark on YARN/K8s配… · 日志采集 · 监控告警（Prometheus+Gr…
生产环境部署Spark
29
课程总结
高频标签体系全景回顾 · 常见坑点与最佳实践 · 未来趋势（AI+高频标签）
课程总结高频标签体系全景…
30
附录与扩展
推荐阅读资料 · 开源项目（如DolphinDB · Arctic）
附录扩展