01
仿真数据回放概述
什么是仿真数据回放、回放评测的核心价值、典型应用场景（自动驾驶、金融风控、物联网）
概念场景
02
评测指标体系构建
准确率、召回率、F1-Score、延时、吞吐量、资源消耗等核心指标的定义与选择
指标评估
03
数据采集与预处理
数据源接入（日志、数据库、消息队列）、数据清洗、缺失值处理、异常值检测
采集清洗
04
数据存储方案设计
时序数据库选型（InfluxDB、TimescaleDB）、数据分区策略、冷热数据分离
存储时序
05
回放引擎架构设计
单线程回放、多线程回放、分布式回放架构的对比与选型
架构引擎
06
时间同步机制
事件时间与处理时间、水位线（Watermark）机制、乱序数据处理
时间Watermark
07
数据打标与版本管理
数据版本控制（Git-LFS、DVC）、标签体系设计、元数据管理
版本标签
08
回放任务调度
任务队列设计、优先级调度、失败重试与幂等性保证
调度队列
09
评测脚本开发
Python测试框架选型（pytest、unittest）、断言设计、参数化测试
脚本pytest
10
Mock与桩模块
外部依赖模拟、接口桩（Stub）设计、Mock框架（unittest.mock、Mockito）
MockStub
11
基准线（Baseline）建立
历史数据统计、性能基线定义、回归测试策略
基线回归
12
A/B测试框架
分流策略（随机、哈希）、实验组与对照组设计、统计显著性检验
A/B实验
13
结果对比分析
Diff工具设计、可视化对比（折线图、箱线图）、异常波动检测
对比可视化
14
自动化报告生成
HTML报告模板、图表嵌入（Matplotlib、Plotly）、邮件推送
报告自动化
15
持续集成集成
CI/CD流水线集成（Jenkins、GitLab CI）、触发器设计、门禁机制
CI/CD流水线
16
大规模数据回放
数据采样策略、分层抽样、渐进式回放
大规模采样
17
性能压测与调优
回放速率控制、资源瓶颈分析、JVM/OS调优
压测调优
18
数据一致性校验
Exactly-Once语义、幂等校验、对账机制
一致性幂等
19
异常场景注入
网络延迟、服务降级、数据损坏模拟
异常混沌
20
安全与权限管理
数据脱敏、访问控制（RBAC）、审计日志
安全权限
21
多模态数据回放
图像、文本、传感器数据的混合回放
多模态融合
22
实时流回放
Kafka/Flink集成、低延迟回放、背压处理
实时流处理
23
离线批回放
Spark/Hive集成、大规模并行回放、Shuffle优化
离线批处理
24
回放结果持久化
结果数据库设计、查询优化、数据生命周期管理
持久化存储
25
监控与告警
Prometheus + Grafana监控、自定义告警规则、SLA保障
监控告警
26
回放数据质量评估
数据完整性、一致性、时效性、准确性评估
质量评估
27
多版本算法对比
模型版本管理、对比矩阵、胜率分析
版本对比
28
回放平台搭建
前后端架构、API设计、用户管理
平台全栈
29
案例实战：自动驾驶感知算法回放评测
自动驾驶感知算法回放评测全流程
自动驾驶实战
30
案例实战：金融交易风控模型回放评测
金融交易风控模型回放评测全流程
金融风控实战