VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Debezium机器学习数据增量采集

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是CDC、为什么需要CDC、典型应用场景：数据库同步、数据仓库、实时流处理。

CDC核心原理

日志捕获(Log-based)、轮询捕获(Polling-based)、触发器捕获(Trigger-based) 原理对比。

Debezium架构、核心组件(Connector/Snapshot/Streaming)、环境搭建与快速启动。

MySQL Binlog解析

Binlog格式(Statement/Row/Mixed)、事件结构、GTID原理与高可用复制。

Debezium MySQL Connector实战

配置参数详解、快照模式、增量快照、表选择与过滤策略。

Kafka Connect集成

Kafka Connect架构、Worker配置、REST API管理Connector生命周期。

Avro与Schema Registry

Avro序列化、Schema Registry作用、兼容性策略与演进规则。

数据转换与过滤

SMT(Single Message Transform)详解、自定义Transform开发实战。

PostgreSQL CDC实战

逻辑复制原理、Publication与Slot、Debezium PostgreSQL Connector配置。

PostgreSQL逻辑复制

MongoDB CDC实战

Oplog机制、Change Streams、Debezium MongoDB Connector配置。

MongoDBChangeStream

Oracle CDC实战

LogMiner原理、XStream配置、Debezium Oracle Connector配置。

SQL Server CDC实战

CDC表机制、捕获实例与更改表、Debezium SQL Server Connector配置。

SQLServerCDC表

多源数据合并

多表Join、数据路由、Topic路由策略，实现多源合并。

数据一致性保证

Exactly-Once语义、幂等性设计、分布式事务处理方案。

一致性Exactly-Once

容错与高可用

Connector故障恢复、Offset管理、Kafka集群高可用架构。

高可用容错

批量大小、内存配置、并行度设置、延迟优化策略。

监控与告警

JMX指标、Prometheus集成、Grafana仪表盘、关键告警规则。

监控Prometheus

数据湖集成

CDC数据入湖(Hudi/Iceberg/Delta Lake)、Schema演进处理。

实时数仓构建

ODS/DWD/DWS分层设计、CDC数据分层策略与实时数仓实践。

Flink CDC实战

Flink CDC Connector、动态表、Changelog Stream、Exactly-Once语义。

CDC数据回放

数据回溯、时间旅行、数据修复场景与实现。

安全与权限

SSL/TLS加密、Kerberos认证、数据脱敏、审计日志。

大规模部署实践

多集群管理、自动化部署、配置中心、版本管理。

部署大规模

CDC数据质量

数据校验、异常检测、脏数据处理、数据血缘追踪。

异构数据同步

MySQL到Elasticsearch/Redis/ClickHouse 异构同步实战。

CDC与消息队列

Kafka vs Pulsar vs RabbitMQ、消息顺序保证、背压处理。

消息队列背压

Kubernetes部署、Operator模式、Serverless CDC架构。

CDC最佳实践

架构设计原则、容量规划、灾备方案、运维规范。

最佳实践运维

故障排查指南

常见问题诊断、日志分析、性能瓶颈定位、案例复盘。

实时数据网格、CDC与AI结合、无服务器CDC、数据虚拟化。