01
流批一体概述
流批一体概念、为什么需要流批一体、流批一体 vs Lambda架构 vs Kappa架构。
概念架构对比
02
API数据服务现状与挑战
传统API服务痛点、实时与离线数据割裂问题、数据一致性难题。
痛点一致性
03
核心技术选型
Flink vs Spark Streaming、Kafka vs Pulsar、Hudi vs Iceberg vs Delta Lake。
FlinkKafka湖格式
04
数据源接入设计
MySQL CDC接入、Kafka Topic接入、文件系统接入、API回调接入。
CDC多源
05
流处理核心概念
事件时间 vs 处理时间、Watermark机制、状态后端选择、Checkpoint与Savepoint。
时间语义状态
06
批处理核心概念
批处理窗口、数据分区策略、数据倾斜处理、批处理容错机制。
分区倾斜
07
统一数据模型设计
宽表设计原则、动态Schema演进、数据版本管理、字段血缘追踪。
Schema血缘
08
实时ETL管道构建
从Kafka到Flink的实时清洗、维表关联、多流Join、去重策略。
实时清洗Join
09
离线ETL管道构建
从HDFS到Spark的批量清洗、分区裁剪、数据重分布、增量抽取。
批量增量
10
流批统一存储层
Apache Hudi核心原理、Copy-on-Write vs Merge-on-Read、Incremental Query。
HudiMoR
11
API服务架构设计
微服务 vs BFF、API网关选型、服务发现与负载均衡、熔断降级。
网关熔断
12
数据服务层设计
统一查询接口、多级缓存策略、缓存穿透/击穿/雪崩应对、热点数据识别。
缓存热点
13
实时数据服务实现
Flink SQL写入Hudi、Kafka Streams实时聚合、低延迟查询优化。
Flink SQL低延迟
14
离线数据服务实现
Spark批量写入Hudi、Presto/Trino即席查询、物化视图加速。
Presto物化视图
15
数据一致性保障
Exactly-Once语义实现、幂等写入设计、数据对账机制、补偿事务。
Exactly-Once对账
16
API版本管理
接口版本策略、向后兼容设计、灰度发布、蓝绿部署。
灰度兼容
17
数据安全与权限
字段级脱敏、行级权限控制、数据加密传输、审计日志。
脱敏权限
18
监控与告警体系
Flink作业监控、API调用链追踪、数据延迟告警、SLA保障。
监控SLA
19
性能优化实战
Flink算子链优化、状态大小控制、序列化优化、并行度调优。
算子链并行度
20
数据质量保障
数据完整性校验、异常数据隔离、数据回滚机制、质量监控看板。
质量回滚
21
多租户架构设计
租户隔离策略、资源配额管理、计费计量、租户级配置。
多租户隔离
22
高可用架构设计
异地多活、主备切换、数据复制、故障自愈。
高可用多活
23
数据湖与数据仓库融合
湖仓一体架构、元数据统一管理、查询引擎适配。
湖仓一体元数据
24
实时数仓分层设计
ODS/DWD/DWS/ADS分层、数据模型复用、维度建模实践。
分层维度建模
25
数据服务API设计
RESTful vs GraphQL、分页策略、排序过滤、批量接口。
RESTGraphQL
26
数据同步工具链
Canal/Debezium CDC、DataX/Sqoop批量同步、实时同步链路。
CDCDataX
27
测试与验证
单元测试、集成测试、性能测试、混沌工程。
测试混沌
28
CI/CD与自动化部署
GitOps实践、自动化测试流水线、蓝绿发布、回滚策略。
CI/CDGitOps
29
成本优化
资源弹性伸缩、冷热数据分离、压缩策略、查询成本控制。
弹性冷热
30
案例实战
电商实时大屏API、金融风控实时查询、物联网设备数据服务。
电商风控IoT