01
数据回放基础
什么是数据回放 · 回放的应用场景(测试、仿真、故障复现) · 回放的核心流程
概念场景
02
数据采集与存储
常见数据源(日志、数据库、消息队列) · 采集工具(Flume、Logstash) · 存储格式(CSV、Parquet、Avro)
采集格式
03
回放引擎原理
回放引擎架构 · 时间戳对齐策略 · 速率控制(实时/加速/减速)
引擎对齐
04
回放数据预处理
数据清洗 · 缺失值处理 · 异常值检测 · 数据标准化
预处理清洗
05
回放执行与监控
回放任务的启动与停止 · 进度监控 · 资源消耗监控
监控执行
06
回放结果验证
结果对比策略(逐条比对、聚合比对) · 一致性检查 · 误差容忍度设定
验证对比
07
常见异常类型(一):数据丢失
原因分析(采集丢失、传输丢失、存储丢失) · 检测方法
丢失检测
08
常见异常类型(二):数据乱序
原因分析(网络延迟、多线程并发) · 排序与重排策略
乱序重排
09
常见异常类型(三):数据重复
原因分析(重复采集、重复投递) · 去重策略(基于ID、基于时间窗口)
重复去重
10
常见异常类型(四):数据格式错误
原因分析(Schema变更、编码问题) · 格式校验与修复
格式编码
11
常见异常类型(五):时间戳异常
原因分析(时区问题、时钟漂移) · 时间戳校正方法
时间戳校正
12
异常诊断方法论
日志分析法 · 指标监控法 · 链路追踪法 · A/B对比法
方法论诊断
13
异常诊断工具(一):日志分析
ELK、Splunk 的使用与配置
ELKSplunk
14
异常诊断工具(二):监控告警
Prometheus、Grafana 告警规则设置
PrometheusGrafana
15
异常诊断工具(三):链路追踪
Jaeger、Zipkin 集成与数据解读
JaegerZipkin
16
数据修复策略(一):补录机制
从原始数据源重新拉取缺失数据
补录缺失
17
数据修复策略(二):插值与填充
线性插值 · 均值填充 · 前向填充
插值填充
18
数据修复策略(三):去重与合并
基于主键去重 · 基于时间窗口合并
去重合并
19
数据修复策略(四):格式转换与编码修复
字符集转换 · 类型强制转换
格式编码
20
数据修复策略(五):时间戳重算
基于业务逻辑的时间戳修正
时间戳重算
21
自动化修复框架设计
规则引擎设计 · 修复流程编排 · 回滚机制
自动化框架
22
回放质量评估体系
准确率、召回率、F1-score 在回放场景下的定义与计算
评估指标
23
大规模回放性能优化
并行回放 · 分区回放 · 内存与IO优化
性能优化
24
回放数据安全与隐私
数据脱敏 · 访问控制 · 审计日志
安全隐私
25
案例实战(一):金融交易系统回放
订单数据丢失的排查与修复
金融实战
26
案例实战(二):物联网传感器数据回放
乱序与重复数据的处理
物联网实战
27
案例实战(三):电商平台用户行为回放
时间戳异常与格式错误的修复
电商实战
28
案例实战(四):游戏服务器日志回放
大规模并发下的性能优化
游戏实战
29
回放系统的CI/CD
自动化测试 · 灰度发布 · 版本管理
CI/CDDevOps
30
课程总结与最佳实践
常见陷阱总结 · 架构设计原则 · 未来趋势(AI辅助诊断)
总结趋势