VIP20
本课程属于：100-逐笔行情数据工程与接口开发 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模逐笔行情分区表设计

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与场景锚定
逐笔行情数据的业务特征 · 规模挑战与分区表设计的核心目标 · 明确本课程以真实行情数据为对象
课程导入场景锚定
02
逐笔行情数据解剖
逐笔成交与逐笔委托的字段结构 · 时间精度 · 序列特征与更新模式
逐笔行情数据解剖逐笔成交
03
分区表设计需求分析
从写入吞吐 · 查询延迟 · 存储成本
分区表设计需求分…从写入吞吐
04
分区策略选型对比
范围分区 · 列表分区 · 哈希分区与组合分区在逐笔行情场景下的…
分区策略选型对比范围分区
05
时间维度分区设计
按交易日期 · 交易时段或时间片分区的粒度选择 · 处理跨日
时间维度分区设计按交易日期
06
标的维度分区设计
按证券代码 · 市场类型或板块进行二级分区的方案 · 分析热点标的与长尾标的对分区均衡性的…
标的维度分区设计按证券代码
07
复合分区键设计实战
时间与标的组合分区键的构造方法 · 分区裁剪效果验证与分区数量估算 · 完成一版可落地的分区键方案
复合分区键设计实…时间
08
分区表物理存储布局
分区与表空间 · 文件组的映射 · 冷热数据分层存储策略
分区表物理存储布…分区
09
分区表DDL与索引设计
分区表创建 · 分区模板 · 本地索引与全局索引的选择
DDL分区表
10
数据加载与分区路由
批量导入与实时写入场景下的分区路由机… · 避免跨分区事务与热点分区写入的工程手…
数据加载分区路由
11
分区滚动与自动管理
按时间自动创建 · 切换与归档分区的脚本化方案 · 处理节假日
分区滚动自动管理
12
数据生命周期与归档
基于分区粒度的冷热分离 · 历史分区压缩与迁移策略 · 满足合规留存与低成本存储的双重要求
数据生命周期归档
13
分区裁剪与查询优化
逐笔行情典型查询（按时间区间 · 按标的 · 按序列号）的分区裁剪验证方法
分区裁剪查询优化
14
分区表统计信息维护
分区级统计信息的收集策略 · 增量统计与全局统计的取舍 · 避免因统计信息缺失导致的执行计划劣化
分区表统计信息维…分区级统计信息的…
15
热点分区与负载均衡
识别逐笔行情写入与查询的热点分区 · 通过分区拆分 · 哈希打散与读写分离缓解热点压力的实战…
热点分区负载均衡
16
分区表并发写入控制
多分区并发写入的锁竞争 · 序列号分配与事务边界设计 · 保障逐笔数据写入的顺序性与一致性
分区表并发写入控…多分区并发写入的…
17
分区表数据一致性校验
跨分区数据完整性校验 · 分区边界数据重复与遗漏检测 · 设计可重复执行的校验任务
分区表数据一致性…跨分区数据完整性…
18
分区表备份与恢复
按分区粒度的备份策略 · 增量备份与分区级恢复演练 · 评估恢复时间目标与恢复点目标
分区表备份恢复
19
分区表性能压测方案
面向逐笔行情写入与查询的压测场景设计 · 指标采集与瓶颈定位 · 形成分区表性能基线
分区表性能压测方…面向逐笔行情写入
20
分区表容量规划
基于历史数据增长与峰值行情的分区数量 · 单分区大小与存储容量估算 · 输出容量规划表
分区表容量规划基于历史数据增长
21
分区表监控与告警
分区数量 · 分区大小 · 写入延迟与查询耗时的监控指标设计
分区表监控告警
22
分区表变更管理
分区键调整 · 分区拆分合并与在线DDL的变更流程 · 评估变更对逐笔行情连续写入的影响与回…
分区表变更管理分区键调整
23
多市场多品种分区适配
股票 · 期货 · 期权等不同市场逐笔行情的分区设计差异
多市场多品种分区…股票
24
分区表与流式处理集成
实时逐笔行情接入流式管道时的分区映射 · 微批写入与端到端延迟控制 · 避免分区切换引发的数据抖动
分区表流式处理集成
25
分区表查询服务封装
面向业务查询的分区路由中间层设计 · 统一分区裁剪 · 结果合并与分页逻辑
分区表查询服务封…面向业务查询的分…
26
故障场景下的分区表韧性
分区损坏 · 元数据丢失与写入失败的应急处理 · 设计分区级隔离与快速恢复的操作手册
故障场景下的分区…分区损坏
27
成本优化实战
通过分区压缩 · 编码优化与存储分层降低大规模逐笔行情… · 量化优化前后的成本收益
成本优化实战通过分区压缩
28
综合实战任务一
给定逐笔行情样本数据与查询负载 · 完成分区表设计 · DDL实现与基础性能验证
综合实战任务一给定逐笔行情样本…
29
综合实战任务二
在实战一基础上增加数据滚动 · 归档与监控告警 · 完成端到端运维闭环并演练一次故障恢复
综合实战任务二实战一基础上增加…
30
课程总结与设计复盘
回顾分区表设计决策链 · 提炼可复用的设计检查清单 · 对照初始需求评估方案达成度并规划后续…
课程总结设计复盘