VIP20
本课程属于:008-CDC增量同步 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

增量同步容灾设计:断点续传与故障恢复

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
容灾设计概述
为什么需要容灾?RPO与RTO核心指标、同步与异步复制对比。
核心指标复制对比
02
增量同步原理
全量同步 vs 增量同步、基于日志的增量捕获(CDC)、基于时间戳的增量同步。
CDC时间戳
03
断点续传机制
断点定义与记录、偏移量管理、幂等性设计。
偏移量幂等
04
故障检测与恢复
心跳检测、超时重试策略、故障转移与回切。
心跳回切
05
数据一致性保障
最终一致性、校验和比对、回滚与补偿机制。
校验和补偿
06
架构设计
主从架构、多活架构、分层同步架构。
主从多活
07
网络分区处理
脑裂问题、仲裁机制、Quorum算法。
脑裂Quorum
08
存储层容灾
分布式存储复制、对象存储跨区域同步。
存储复制跨区域
09
数据库增量同步
MySQL Binlog解析、PostgreSQL WAL、Oracle GoldenGate。
BinlogWAL
10
消息队列容灾
Kafka MirrorMaker、RocketMQ DLedger、RabbitMQ镜像队列。
MirrorMakerDLedger
11
文件系统同步
rsync算法、inotify实时触发、分布式文件系统快照。
rsyncinotify
12
容器与K8s容灾
etcd备份恢复、PV跨集群迁移、Velero工具。
etcdVelero
13
云原生容灾
AWS DMS、阿里云DTS、Azure Site Recovery。
DMSDTS
14
断点续传实战
实现一个简单的文件断点续传工具。
实战工具
15
故障恢复流程
故障分级、自动恢复脚本、人工介入决策。
分级自动化
16
数据校验与修复
Checksum比对、差异修复、增量回放。
Checksum回放
17
性能优化
批量同步、压缩传输、并行通道。
批量压缩
18
监控与告警
同步延迟监控、数据积压告警、健康检查。
延迟告警
19
测试与演练
混沌工程、故障注入、恢复演练。
混沌演练
20
安全与加密
传输加密TLS、数据脱敏、访问控制。
TLS脱敏
21
多数据中心部署
异地多活、两地三中心、Region化设计。
多活Region
22
版本兼容与升级
协议兼容、滚动升级、灰度切换。
滚动升级灰度
23
元数据管理
同步任务元数据、状态持久化、任务编排。
元数据编排
24
大规模集群同步
分片同步、一致性哈希、动态扩缩容。
分片一致性哈希
25
边缘节点同步
离线同步、弱网优化、本地缓存。
弱网缓存
26
合规与审计
数据主权、操作日志、合规报告。
合规审计
27
案例1:金融核心交易系统容灾设计
金融核心交易系统容灾设计。
金融案例
28
案例2:电商大促流量下的同步容灾
电商大促流量下的同步容灾。
电商大促
29
案例3:IoT海量设备数据回传容灾
IoT海量设备数据回传容灾。
IoT海量
30
总结与展望
未来趋势、Serverless容灾、AI辅助运维。
趋势Serverless