VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

离线与实时流水线融合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

离线与实时流水线概述

数据架构演进 · Lambda与Kappa对比 · 离线实时场景定义

数据采集层设计

离线采集Sqoop/DataX · 实时采集Canal/Debezium · 容错策略

消息队列选型

Kafka核心概念 · 分区与副本 · 实时流水线角色

离线存储选型

HDFS架构 · Hive分区表 · ORC/Parquet列式存储

实时存储选型

HBase RowKey设计 · Redis缓存 · ClickHouse实时分析

离线计算引擎

MapReduce原理 · Spark Core/RDD · Spark SQL优化

实时计算引擎

Flink架构 · DataStream API · Checkpoint与状态管理

离线ETL流程

数据清洗 · 脱敏 · 维度建模(星型/雪花型)

实时ETL流程

事件时间与处理时间 · Watermark · 侧输出流

实时ETLWatermark

离线与实时数据一致性

最终一致性 · Exactly-Once · 幂等写入

一致性语义

数据湖基础

Delta Lake · Apache Iceberg · Hudi核心概念

数据湖Iceberg

湖仓一体架构

离线表与实时表合并 · Time Travel · 增量读取

离线调度系统

Airflow DAG设计 · 任务依赖 · 重试机制

实时监控与告警

Flink Metrics · Prometheus+Grafana · 延迟监控

数据质量校验

离线Great Expectations · 实时断言与规则引擎

离线与实时数据回溯

全量回溯 · 增量回溯 · 数据补偿策略

双流Join实现

Flink双流Join · 离线vs实时Join · 状态TTL

离线维表加载 · 实时维表缓存(Guava/Redis) · 变更处理

数据倾斜处理

离线Salting · 实时KeyBy优化

小文件问题

HDFS小文件合并 · Flink优化 · Iceberg自动合并

小文件合并

离线与实时指标一致性

指标口径统一 · 累加器与窗口对齐

数据血缘与元数据

Atlas/DataHub · 字段级血缘 · 影响分析

血缘元数据

离线与实时数据服务化

统一服务层 · API网关 · 缓存策略

数据安全与权限

Ranger权限 · 数据脱敏 · 审计日志

CI/CD for Data Pipeline

管道测试 · Schema演进 · 灰度发布

资源管理与弹性

Yarn/K8s调度 · Flink动态扩缩容 · 优先级

离线与实时成本优化

存储压缩 · 计算复用 · Spot实例利用

混合场景实战（上）

用户行为分析 · 实时推荐特征 · 离线样本生成

混合场景实战（下）

实时风控规则 · 离线模型评估 · 数据闭环

流批一体 · Serverless Data · AI for Pipeline