VIP20
本课程属于：036-实时数据服务API 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

流批一体架构实现API数据融合

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
流批一体概述
Lambda架构与Kappa架构的对比，流批一体的核心价值与适用场景。
架构对比
02
API数据源剖析
RESTful API与GraphQL API的区别，API认证机制（OAuth2.0、），API限流与重试策略。
API认证限流
03
实时数据采集
基于Apache Flink的API数据源连接器开发，自定义SourceFunction实现轮询与WebSocket接入。
Flink实时WebSocket
04
批量数据同步
基于Apache SeaTunnel的API到数据湖同步，配置化实现全量与增量抽取。
SeaTunnel批量数据湖
05
数据格式统一
JSON/XML/CSV/Protobuf的Schema映射与转换，Avro与Parquet的列式存储优化。
SchemaAvroParquet
06
状态管理与容错
Flink Checkpoint与Savepoint机制，端到端Exactly-Once语义在API消费中的实现。
Flink容错Exactly-Once
07
数据湖集成
Apache Iceberg表格式在流批一体中的角色，ACID事务与Time Travel查询。
IcebergACIDTime Travel
08
实时ETL处理
基于Flink SQL的API数据清洗与维表关联，动态表与连续查询的概念。
Flink SQLETL动态表
09
批量ETL处理
基于Spark Structured Streaming的微批处理模式，与Flink的对比分析。
Spark微批对比
10
数据质量监控
Great Expectations框架集成，实时数据质量规则引擎设计与实现。
数据质量Great Expectations规则引擎
11
元数据管理
Apache Atlas与DataHub的集成，API数据血缘追踪与影响分析。
元数据AtlasDataHub
12
数据服务化
基于Apache Kafka的API事件驱动架构，Kafka Streams与KSQL的应用。
Kafka事件驱动KSQL
13
流批存储统一
Apache Hudi的Copy-on-Write与Merge-on-Read模式，MOR表在近实时场景的实践。
HudiMOR近实时
14
API网关与数据路由
Kong/APISIX的配置，动态路由规则与流量镜像。
API网关KongAPISIX
15
数据脱敏与安全
动态数据脱敏技术，字段级加密与Tokenization在流批管道中的实现。
安全脱敏加密
16
性能调优
Flink背压机制与资源调优，API调用并发度与连接池优化。
性能背压连接池
17
监控与告警
Prometheus + Grafana监控Flink作业，自定义API调用延迟与错误率指标。
监控PrometheusGrafana
18
CI/CD与部署
基于Docker + Kubernetes的流批作业部署，Helm Chart管理与蓝绿发布。
CI/CDKubernetesHelm
19
测试策略
单元测试、集成测试与端到端测试，基于Testcontainers的API Mock测试。
测试TestcontainersMock
20
数据回放与修复
基于Kafka的日志回放机制，数据修复管道的设计与自动化。
回放修复Kafka
21
多源API融合
多数据源Join策略（Interval Join、Temporal Join），数据一致性保证。
Join多源一致性
22
Schema演进
Avro Schema兼容性演进，Flink与Iceberg的Schema自动演化。
Schema演进兼容性
23
成本优化
Spot实例与抢占式实例的使用，动态资源弹性伸缩策略。
成本Spot弹性伸缩
24
数据湖仓一体
Lakehouse架构在API数据融合中的实践，Delta Lake与Iceberg的选型。
LakehouseDelta Lake选型
25
实时数仓构建
基于Flink + Kafka + ClickHouse的实时OLAP链路，物化视图与预聚合。
实时数仓ClickHouse物化视图
26
数据目录与发现
Apache Polaris与Amundsen的集成，API数据资产的自动发现与注册。
数据目录PolarisAmundsen
27
跨云数据融合
多云API数据同步方案，数据主权与合规性考虑（GDPR）。
跨云GDPR合规
28
数据治理与合规
数据分类分级，审计日志与数据溯源在流批管道中的实现。
治理审计溯源
29
案例实战：电商订单
电商订单数据融合（实时订单流 + 批量历史数据），技术选型与架构设计。
电商实战架构
30
案例实战：物联网设备
物联网设备数据融合（高频API + 低频批量），性能优化与成本控制。
物联网实战优化
专注课程资料整理