VIP20

本课程属于：010-数据回放 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零搭建数据回放系统

📚 共计 30 章节

数据回放系统概述

什么是数据回放、应用场景（金融交易、自动驾驶、物联网）、系统核心挑战（高吞吐、低延迟、数据一致性）。

概念场景挑战

核心技术栈选型

消息队列（Kafka vs Pulsar）、流处理框架（Flink vs Spark Streaming）、存储引擎（HDFS vs S3 vs 本地SSD）。

Docker与Docker Compose安装、Kafka单机/集群部署、Zookeeper配置、网络与端口规划。

DockerKafka部署

数据模型设计

事件（Event）与快照（Snapshot）设计、时间戳处理（业务时间 vs 事件时间）、数据版本控制。

建模时间版本

生产者（Producer）开发

Java/Python SDK接入、分区策略（Round-Robin vs 自定义分区）、异步发送与回调机制。

ProducerSDK分区

消费者（Consumer）开发

消费者组与偏移量管理、手动提交 vs 自动提交、幂等消费与去重策略。

Consumer偏移量幂等

数据序列化与反序列化

Avro vs Protobuf vs JSON、Schema Registry集成、兼容性演进（向前/向后兼容）。

序列化Schema兼容

时间窗口与水位线

事件时间窗口（Tumbling/Sliding/Session）、水位线（Watermark）生成策略、迟到数据处理。

窗口Watermark迟到

状态管理与容错

Flink Keyed State与Operator State、Checkpoint与Savepoint机制、Exactly-Once语义实现。

状态CheckpointExactly-Once

数据回放引擎核心

回放速率控制（实时/加速/减速）、时间轴导航（跳转/快进/快退）、事件过滤与投影。

引擎速率导航

存储层优化

列式存储（Parquet/ORC）与行式存储对比、数据压缩算法（Snappy/Zstd）、冷热数据分层。

存储压缩分层

索引与查询加速

时间戳索引、布隆过滤器（Bloom Filter）、二级索引设计（基于HBase/Elasticsearch）。

索引Bloom查询

数据一致性保障

CAP理论在回放系统中的权衡、分布式事务（两阶段提交 vs Saga）、最终一致性实践。

一致性CAP事务

监控与告警

Prometheus + Grafana监控体系、关键指标（吞吐量、延迟、积压）、自定义告警规则。

监控Prometheus告警

日志与链路追踪

ELK（Elasticsearch + Logstash + Kibana）日志收集、Jaeger分布式追踪、慢查询定位。

日志ELKJaeger

性能压测与调优

JMeter/Gatling压测脚本编写、Kafka参数调优（batch.size/linger.ms）、JVM调优。

压测调优JVM

数据回放系统安全

认证与授权（SASL/SSL）、数据加密（TLS/At-rest）、审计日志。

安全加密审计

多租户与资源隔离

Topic命名空间设计、Quota（配额）管理、基于Kubernetes的资源隔离。

多租户QuotaK8s

数据回放系统高可用

多副本机制（Replication Factor）、Leader选举与ISR、跨机房容灾（Active-Active/Active-Standby）。

高可用副本容灾

数据回放系统扩展性

分区数动态调整、Consumer Rebalance优化、无状态服务水平扩展。

扩展Rebalance水平扩展

数据回放系统与AI/ML集成

特征工程管道、实时特征计算、模型在线推理（Seldon/TensorFlow Serving）。

金融领域应用

订单簿回放、市场微观结构分析、策略回测（Backtesting）框架。

金融回测订单簿

自动驾驶领域应用

传感器数据回放（LiDAR/Camera/Radar）、场景重建、仿真测试。

自动驾驶传感器仿真

物联网领域应用

设备数据流回放、异常检测、数字孪生（Digital Twin）。

IoT数字孪生异常检测

游戏领域应用

玩家行为回放、反作弊分析、游戏AI训练。

游戏反作弊AI训练

运维领域应用

故障现场回放、根因分析（RCA）、混沌工程。

运维RCA混沌工程

电商领域应用

用户行为轨迹回放、推荐系统评估、A/B测试分析。

电商推荐A/B测试

医疗领域应用

医疗影像数据回放、患者监护数据流分析、临床试验数据管理。

医疗影像临床

社交网络领域应用

信息流回放、内容推荐验证、舆情分析。

社交推荐舆情

数据回放系统未来展望

云原生演进（Serverless/Data Mesh）、AI驱动自动化运维、边缘计算与数据回放。

未来云原生边缘计算