VIP20
本课程属于：041-数据主数据管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

增量计算技术驱动主数据实时性

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
增量计算概述
主数据实时性的业务痛点、增量计算的定义与价值、与传统全量计算的对比。
业务驱动概念
02
核心概念解析
变更数据捕获（CDC）原理、事件驱动架构基础、流处理与批处理的区别。
CDC架构
03
CDC技术选型
基于日志的CDC（Debezium）、基于触发器的CDC、基于时间戳的CDC，优缺点对比。
选型Debezium
04
消息队列选型
Kafka核心概念（Topic、Partition、Offset）、Kafka在增量链路中的角色、Kafka高可用机制。
Kafka消息
05
流处理引擎
Apache Flink核心概念（DataStream、Operator、State）、Flink在实时ETL中的应用。
Flink流处理
06
增量数据抽取
基于Debezium监听MySQL Binlog实战、配置与启动、全量+增量快照策略。
Binlog快照
07
数据序列化与反序列化
Avro、Protobuf、JSON Schema的选择、Schema Registry的作用。
序列化Schema
08
实时数据清洗
过滤无效变更、数据脱敏、字段映射与类型转换。
清洗脱敏
09
实时数据转换
基于Flink SQL进行Join、Aggregation、Window操作。
Flink SQL窗口
10
状态管理与容错
Flink Checkpoint与Savepoint机制、Exactly-Once语义保证。
容错状态
11
主数据模型设计
宽表模型、星型模型、实时维度建模原则。
建模维度
12
实时数仓分层
ODS、DWD、DWS、ADS在实时场景下的实践。
数仓分层
13
实时数据写入目标
写入Kafka、写入HBase、写入ClickHouse、写入Redis。
写入存储
14
实时数据一致性
幂等写入、事务边界、最终一致性保证。
一致性幂等
15
延迟与乱序处理
Watermark机制、Allowed Lateness、侧输出流。
Watermark乱序
16
实时数据质量监控
数据完整性校验、延迟监控、异常告警体系。
监控质量
17
增量计算性能优化
并行度调优、算子链优化、反压处理。
性能反压
18
资源管理与弹性伸缩
基于Kubernetes的Flink部署、动态资源调整。
K8s弹性
19
实时数据服务化
构建实时API、数据订阅与推送机制。
API推送
20
主数据实时同步架构
端到端链路设计（MySQL → Kafka → Flink → 目标存储）。
架构链路
21
案例实战：电商订单
电商订单主数据实时同步（订单创建、支付、退款状态变更）。
电商实战
22
案例实战：金融风控
金融风控主数据实时更新（用户画像、交易行为实时计算）。
金融风控
23
案例实战：物联网设备
物联网设备主数据实时同步（设备状态、遥测数据流处理）。
IoT设备
24
增量计算与数据湖
Delta Lake / Iceberg / Hudi 的增量读取与写入。
数据湖Iceberg
25
增量计算与数据治理
血缘追踪、数据字典自动更新、元数据实时同步。
治理血缘
26
增量计算与AI
实时特征工程、在线学习数据管道。
AI特征
27
增量计算运维
日志采集、监控大盘（Prometheus+Grafana）、故障排查。
运维监控
28
增量计算安全
数据加密、访问控制、审计日志。
安全加密
29
增量计算发展趋势
云原生实时计算、Serverless流处理、AI驱动的智能调度。
趋势云原生
30
课程总结与最佳实践
架构设计原则、常见陷阱、团队协作建议。
总结最佳实践