VIP20
本课程属于：100-逐笔行情数据工程与接口开发 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时逐笔数据缓冲与批量落盘

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与场景锚定
实时逐笔数据的典型来源（交易 · 行情 · 日志）
课程导入场景锚定
02
逐笔数据特征剖析
数据到达速率 · 乱序与重复 · 时间戳语义
逐笔数据特征剖析数据到达速率
03
缓冲与落盘的系统边界定义
明确“实时接入—内存缓冲—批量落盘”… · 界定各阶段职责 · 数据契约与故障域
缓冲落盘的系统边界定…
04
内存缓冲数据结构选型
环形队列 · 阻塞队列 · 无锁队列与分段缓冲的适用条件对比
内存缓冲数据结构…环形队列
05
缓冲容量与背压设计
水位线设定 · 高水位触发策略 · 背压信号向数据源回传的机制
缓冲容量背压设计
06
批量落盘触发条件设计
基于时间窗口 · 批次大小 · 内存水位与外部信号的复合触发规则
批量落盘触发条件…基于时间窗口
07
批次组装与序列化
从缓冲中提取逐笔记录 · 按落盘格式组装批次 · 选择行式/列式/二进制序列化方案并评…
批次组装序列化
08
落盘目标与写入模式
本地文件 · 分布式文件系统与对象存储的写入语义差… · 追加写
落盘目标写入模式
09
写入吞吐与延迟的权衡实验
设计基准测试 · 测量不同批次大小与触发策略下的端到端… · 吞吐与资源占用
写入吞吐延迟的权衡实验
10
缓冲与落盘的并发模型
生产者-消费者线程模型 · 批量提交线程与落盘线程的分工 · 锁粒度控制与无锁化改造的实践路径
缓冲落盘的并发模型
11
内存管理实战
缓冲对象的池化复用 · 批次内存的预分配与释放 · 避免频繁GC或内存碎片的具体编码任务
内存管理实战缓冲对象的池化复…
12
数据不丢失保障
缓冲数据的持久化影子（WAL/预写日… · 落盘确认机制与崩溃恢复时的重放流程
数据不丢失保障WAL
13
至少一次与精确一次语义
在缓冲与批量落盘链路中实现幂等写入 · 去重键设计与事务性批次提交的工程方法
至少一次精确一次语义
14
乱序与迟到数据处理
缓冲区内按时间戳重排的窗口策略 · 迟到数据的旁路落盘与标记机制 · 保证落盘数据的可追溯性
乱序迟到数据处理
15
批次落盘的原子性与可见性
临时文件+原子重命名 · 批次提交标记 · 下游读取时的可见性控制
批次落盘的原子性可见性
16
落盘文件格式与压缩
Parquet/ORC/Avro/J… · 压缩算法选择与批次内压缩的实践
落盘文件格式压缩
17
分区与文件滚动策略
按时间/来源/业务键分区 · 文件大小与滚动阈值设定 · 避免小文件泛滥与元数据压力
分区文件滚动策略
18
缓冲监控指标埋点
缓冲深度 · 入队/出队速率 · 批次组装耗时
缓冲监控指标埋点缓冲深度
19
落盘失败与重试机制
可重试错误与不可重试错误的分类 · 指数退避重试 · 死信批次隔离与人工干预入口设计
落盘失败重试机制
20
背压与限流的联动实战
当落盘变慢时 · 通过缓冲水位触发限流 · 动态调整批次大小与写入并发
背压限流的联动实战
21
缓冲数据一致性校验
批次内记录数校验 · 校验和与摘要 · 落盘后抽样回读比对
缓冲数据一致性校…批次内记录数校验
22
资源隔离与多租户缓冲
不同数据源共享缓冲与落盘通道时的配额 · 优先级与隔离策略 · 防止单一来源拖垮全局
资源隔离多租户缓冲
23
批量落盘的性能剖析与优化
使用火焰图/系统调用追踪定位写入瓶颈 · 优化序列化 · IO调度与页缓存利用
批量落盘的性能剖…优化
24
容器化与弹性伸缩下的缓冲落盘
Pod重启时的缓冲数据保护 · 持久卷选择 · 水平扩缩容对批次分配的影响与应对
容器化弹性伸缩下的缓冲…
25
端到端故障演练
模拟缓冲溢出 · 落盘超时 · 磁盘满与进程崩溃
端到端故障演练模拟缓冲溢出
26
落盘数据的下游可用性
为实时查询与离线分析提供可发现 · 可读取的批次文件 · 设计元数据登记与分区发现机制
落盘数据的下游可…为实时查询
27
缓冲与落盘配置化
将容量 · 触发阈值 · 重试策略
缓冲落盘配置化
28
代码结构与模块化重构
将缓冲管理 · 批次组装 · 落盘写入与监控拆分为可测试模块
代码结构模块化重构
29
综合实战
从零搭建一条逐笔数据缓冲与批量落盘流… · 完成压力测试 · 故障注入与性能调优
综合实战从零搭建一条逐笔…
30
课程复盘与演进路线
总结关键设计决策与权衡 · 讨论向更高吞吐 · 更低延迟与更强一致性演进的可行方向
课程复盘演进路线