VIP20

本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高可用数据流水线架构与容灾部署

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据流水线概述

什么是数据流水线、为什么需要高可用、核心设计原则与目标。

分层架构设计、模块化思想、数据流与元数据管理。

分层模块化

数据采集层

日志采集（Filebeat/Fluentd）、数据库采集（CDC/Debezium）、API采集设计。

消息队列选型

Kafka核心概念、分区与副本机制、生产者与消费者设计。

Kafka分区副本

消息队列高可用

Kafka集群部署、ISR机制、数据持久化与容灾策略。

集群ISR容灾

数据缓冲层

缓冲策略（背压、削峰填谷）、Redis/内存队列应用、持久化缓冲方案。

背压Redis缓冲

流式计算引擎

Apache Flink核心概念、有状态计算、Exactly-Once语义。

Flink状态Exactly-Once

Flink高可用部署

JobManager HA、Checkpoint与Savepoint、状态后端选型。

HACheckpoint状态后端

批处理引擎

Spark核心概念、RDD/DataFrame/Dataset、Spark Streaming。

SparkRDDStreaming

Master HA、Executor容错、Shuffle优化与数据倾斜处理。

HA容错数据倾斜

数据存储层

OLAP与OLTP选型、列式存储（ClickHouse）、分布式文件系统（HDFS）。

OLAPClickHouseHDFS

存储高可用

数据副本策略、跨机房同步、数据一致性模型。

副本跨机房一致性

数据调度层

Apache Airflow核心概念、DAG设计、任务依赖与重试机制。

AirflowDAG重试

调度高可用

Airflow集群部署、Executor选型（Celery/Kubernetes）、任务监控。

集群CeleryK8s

数据质量监控

数据校验规则、异常检测、质量报告与告警。

校验异常检测告警

监控与可观测性

Metrics收集（Prometheus）、日志聚合（ELK）、链路追踪（Jaeger）。

PrometheusELKJaeger

告警规则设计、告警分级、通知渠道（钉钉/邮件/短信）。

规则分级通知

容错与自愈

失败重试策略、死信队列、降级与熔断机制。

重试死信熔断

数据一致性保障

Exactly-Once实现、幂等性设计、分布式事务（Saga模式）。

Exactly-Once幂等Saga

数据安全与权限

数据加密（传输/存储）、访问控制（RBAC）、审计日志。

加密RBAC审计

CI/CD与自动化部署

Pipeline as Code、蓝绿部署、灰度发布。

CI/CD蓝绿灰度

数据目录、血缘分析、数据生命周期管理。

目录血缘生命周期

并行度调优、资源分配、网络与IO优化。

并行度资源IO

资源弹性伸缩、冷热数据分离、压缩与归档策略。

弹性冷热压缩

混合云架构

公有云与私有云集成、数据同步策略、跨云容灾。

混合云同步容灾

Lambda架构与Kappa架构、实时OLAP（Doris/StarRocks）。

LambdaKappaDoris

数据湖架构

Lakehouse概念、Delta Lake/Iceberg/Hudi对比、ACID事务。

LakehouseDeltaIceberg

AI与数据流水线

特征工程流水线、模型训练与推理管道、MLOps实践。

特征工程MLOps推理

故障演练与混沌工程

Chaos Engineering原则、故障注入工具、演练流程设计。

混沌注入演练

电商实时推荐系统、金融风控流水线、物联网数据管道设计。

电商风控IoT