01
CDC概念与全貌
什么是CDC、典型应用场景（数据仓库、缓存更新、微服务解耦）、主流工具对比（Canal、Debezium、Maxwell、DataX）。
基础概念
02
监控体系总览
全链路监控层次划分（源端、采集端、传输端、目标端）、监控指标分类（延迟、吞吐量、错误率、数据一致性）。
架构指标
03
告警策略设计
告警级别定义（P0-P4）、阈值设置原则、静默与升级机制、通知渠道（钉钉、企微、短信、电话）。
告警策略
04
源端监控实战（MySQL Binlog）
Binlog生成速率监控、磁盘空间监控、主从延迟监控、解析异常监控。
MySQLBinlog
05
采集端监控实战（Canal）
Canal Server HA状态、Instance运行状态、延迟监控（TSDB）、内存与GC监控。
Canal采集
06
传输端监控实战（Kafka）
Topic分区消费延迟（Lag）、Broker健康检查、消息积压告警、磁盘与网络IO监控。
Kafka传输
07
目标端监控实战（数据湖/仓库）
写入速率监控、数据重复与丢失检测、目标表分区状态监控、ETL任务状态监控。
数据湖仓库
08
数据一致性校验
全量校验策略（抽样、MD5、行数对比）、增量校验策略（窗口比对、业务主键去重）、校验报告生成与告警。
一致性校验
09
延迟根因分析
常见延迟原因（网络抖动、GC停顿、大事务、目标端瓶颈）、链路追踪方法、自愈策略。
延迟分析
10
告警收敛与降噪
告警风暴成因、聚合规则（按主机、Instance、错误码）、抑制与依赖告警。
降噪收敛
11
监控数据可视化
Grafana大盘设计原则、核心指标看板（延迟、吞吐、错误率）、TopN异常看板、历史趋势看板。
可视化Grafana
12
自动化巡检与日报
巡检脚本设计（Shell/Python）、巡检项定义（进程、端口、日志关键字）、报告自动生成与推送。
自动化巡检
13
故障自愈与容灾
Canal故障自动切换、Kafka消费组Rebalance处理、目标端写入重试、数据回滚方案。
自愈容灾
14
安全与权限监控
Binlog访问权限审计、Canal用户权限管理、Kafka ACL监控、敏感数据脱敏监控。
安全权限
15
日志与事件中心
日志采集规范（格式、级别、关键字）、日志聚合（ELK/Loki）、事件中心设计（告警、操作、状态变更）。
日志事件
16
容量规划与压测
CDC系统容量评估模型（QPS、TPS、延迟）、压测工具选型（JMeter、Locust）、压测报告分析。
容量压测
17
多集群/多地域监控
跨机房同步延迟监控、数据一致性校验（异地）、全局告警聚合、异地容灾切换监控。
多集群异地
18
告警值班与OnCall
值班表管理、告警认领与升级、OnCall响应SLA、告警复盘与改进。
值班OnCall
19
监控系统高可用
监控组件自身高可用（Prometheus HA、Alertmanager HA）、数据备份恢复、故障演练。
高可用监控
20
成本监控与优化
CDC资源消耗监控（CPU、内存、网络）、数据压缩与传输优化、闲置任务清理、成本账单分析。
成本优化
21
Schema变更监控
DDL事件捕获与解析、Schema版本管理、目标端兼容性检查、Schema变更告警。
SchemaDDL
22
数据质量监控
空值/异常值检测、主键冲突检测、数据漂移检测、数据质量评分与报告。
质量检测
23
自定义监控插件开发
Prometheus Exporter开发（Java/Python）、自定义告警规则、自定义指标采集。
插件Exporter
24
告警自动化处理
告警触发自动化脚本（重启、扩容、降级）、处理记录与审计、成功率监控。
自动化处理
25
监控系统集成
与CMDB集成（主机、应用信息）、与工单系统集成（自动创建工单）、与变更系统集成（变更期间告警屏蔽）。
集成CMDB
26
历史数据回溯与复盘
告警历史数据存储（Elasticsearch/ClickHouse）、趋势分析、故障根因分析（RCA）、改进措施跟踪。
回溯复盘
27
CDC同步链路SLA管理
SLA指标定义（延迟P99、可用性、数据一致性）、监控看板、违约告警、SLA报告。
SLA管理
28
混沌工程与故障演练
混沌工程原则、CDC链路故障注入（网络延迟、进程kill、磁盘满）、演练报告与改进。
混沌演练
29
监控系统演进与最佳实践
从0到1搭建监控体系、选型（开源 vs 商业）、团队组织架构、监控文化培养。
演进实践
30
综合实战
搭建一套完整CDC全链路监控与告警系统，覆盖需求分析、架构设计、技术选型、开发实施、上线运维全流程。
实战全流程