VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式系统Checkpoint与容错恢复架构

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

容错基础：为什么需要容错？

分布式系统中的故障类型：崩溃、网络分区、拜占庭。理解容错设计的底层逻辑与必要性。

故障模型分布式

Checkpoint概念

什么是Checkpoint？全局状态与局部状态，一致性快照的核心定义与系统模型。

同步Checkpoint

同步阻塞式Checkpoint原理，优缺点分析，适用场景与性能瓶颈。

阻塞一致性

异步Checkpoint

非阻塞式Checkpoint，Chandy-Lamport算法核心思想，无冻结快照。

非阻塞Chandy-Lamport

Chandy-Lamport算法详解

Marker消息、记录通道状态、算法终止条件，逐步拆解分布式快照协议。

Marker通道状态

Chandy-Lamport算法实战

Python模拟分布式银行转账系统，实现一致性快照，代码级理解。

全局状态与一致性

强一致性、弱一致性、最终一致性在Checkpoint中的体现与权衡。

一致性模型CAP

分布式日志

Write-Ahead Logging (WAL) 原理，预写日志与故障恢复的基石。

日志与Checkpoint结合

定期Checkpoint + 日志回放，减少恢复时间，平衡开销与RTO。

Spark Streaming Checkpoint

元数据Checkpoint与数据Checkpoint，Driver故障恢复机制。

Flink Checkpoint机制

Barrier对齐、Exactly-Once语义、状态后端，Flink容错核心。

Flink Savepoint

手动触发、版本管理、应用升级与迁移，生产级状态快照。

Savepoint升级

Kafka Exactly-Once语义

幂等生产者、事务、消费者Checkpoint，端到端精确一次。

Kafka Streams Checkpoint

状态存储、变更日志Topic、任务恢复，流式容错实践。

Kafka Streams状态存储

数据库Checkpoint

MySQL Redo Log与Undo Log，Checkpoint触发条件与恢复起点。

PostgreSQL Checkpoint

检查点进程、Buffer Pool刷脏、恢复起点，PG实现细节。

PostgreSQL刷脏

HDFS Checkpoint

Secondary NameNode与Standby NameNode，FsImage与EditLog合并。

Quorum Journal Manager，EditLog的高可用写入与故障切换。

ZooKeeper与分布式协调

ZAB协议、Leader选举、事务Znode的持久化与恢复。

ZooKeeper故障恢复

Follower与Leader的Checkpoint同步，崩溃恢复流程详解。

Raft协议与Checkpoint

日志复制、Leader选举、快照压缩，Raft中的状态持久化。

Raft快照机制

何时触发快照？安装快照（InstallSnapshot）RPC，日志压缩。

InstallSnapshot压缩

分布式事务与Checkpoint

两阶段提交（2PC）与三阶段提交（3PC）的容错与状态保存。

Saga模式与补偿事务

长事务的Checkpoint与回滚策略，Saga执行与补偿。

容器化环境Checkpoint

Criu（Checkpoint/Restore In Userspace）原理与容器快照。

Kubernetes与Pod Checkpoint

Pod迁移、原地升级与状态保持，K8s有状态工作负载。

云原生存储Checkpoint

Rook/Ceph的CRUSH算法与数据恢复，分布式存储容错。

Checkpoint性能优化

增量Checkpoint、异步快照、多级存储，降低开销。

大规模集群Checkpoint实践

Facebook/Apache Flink生产环境案例，超大规模状态管理。

生产环境大规模

Serverless Checkpoint、AI驱动的故障预测与自适应容错。