VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Binlog多源合并与数据路由

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

MySQL Binlog概念、Binlog格式（STATEMENT、ROW、MIXED）、Binlog应用场景。

核心概念格式对比

Binlog解析原理

Binlog事件类型、事件结构、Binlog日志文件格式解析。

事件类型文件结构

Canal工作原理、Canal架构、Canal部署与配置。

中间件部署

Canal高级特性

Canal HA、Canal集群、Canal性能调优。

高可用调优

多源合并概念

什么是多源合并、为什么需要多源合并、多源合并的挑战。

合并基础挑战分析

多源合并架构设计

中心化架构、去中心化架构、混合架构。

架构模式设计决策

时间戳对齐策略

全局时钟、逻辑时钟、混合时钟方案。

时钟同步时序

数据冲突检测

主键冲突、唯一键冲突、业务逻辑冲突。

冲突类型检测机制

冲突解决策略

最后写入胜利（LWW）、自定义合并函数、版本向量。

LWW版本向量

数据路由基础

路由概念、路由规则、路由表设计。

路由入门表设计

基于表名的路由

通配符匹配、正则匹配、多级路由。

表路由通配符

基于数据内容的路由

字段值路由、条件路由、动态路由。

内容路由动态

路由算法实现

一致性哈希、范围路由、列表路由。

路由表动态更新

热加载、配置中心、ZooKeeper协调。

数据转换与映射

字段映射、类型转换、数据清洗。

多源合并实战（一）

双机房数据汇总。

实战双机房

多源合并实战（二）

分库分表数据合并。

分库分表合并

多源合并实战（三）

异构数据库同步。

数据路由实战（一）

按地域路由。

数据路由实战（二）

按用户ID路由。

数据路由实战（三）

按业务类型路由。

业务类型路由

批量处理、并行消费、内存管理。

监控与告警

延迟监控、数据一致性校验、异常告警。

数据一致性保证

最终一致性、强一致性、事务边界。

一致性事务

容错与高可用

断点续传、故障转移、数据补偿。

容错高可用

安全与权限

数据脱敏、访问控制、审计日志。

单元测试、集成测试、压力测试、混沌工程。

生产环境部署

容器化部署、Kubernetes编排、灰度发布。

案例分享（一）

电商平台订单数据多源合并。

案例分享（二）

金融系统实时风控数据路由。