VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库批处理计算架构选型与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

批处理概述

什么是批处理、批处理与流处理的区别、批处理的应用场景（ETL、报表生成、数据清洗）。

批处理架构核心要素

数据源、计算引擎、调度系统、存储系统、监控告警。

技术选型方法论

需求分析、技术对比矩阵、POC验证、决策树模型。

数据源选型

关系型数据库（MySQL/PostgreSQL）、消息队列（Kafka/RabbitMQ）、文件系统（HDFS/S3）。

数据源存储

计算引擎选型（上）

Apache Hadoop MapReduce 原理、优缺点、适用场景。

MapReduceHadoop

计算引擎选型（中）

Apache Spark 核心概念、RDD/DataFrame/Dataset、Spark SQL。

计算引擎选型（下）

Apache Flink 批流一体、对比Spark与Flink的选型决策。

调度系统选型

Apache Airflow、Apache Oozie、DolphinScheduler、Crontab对比。

调度工作流

存储系统选型

HDFS、对象存储（MinIO/S3）、列式存储（Parquet/ORC）、数据湖（Delta Lake/Iceberg）。

存储数据湖

资源管理与部署

YARN、Kubernetes、Mesos 对比，Spark on K8s 实战。

批处理作业设计原则

幂等性、容错性、数据一致性（Exactly-Once语义）。

设计一致性

数据分区与分桶策略

水平分区、垂直分区、动态分区、桶表设计。

数据倾斜处理

倾斜原因分析、解决方案（加盐、广播变量、自定义分区器）。

批处理性能优化（上）

Spark 参数调优（executor内存、并行度、shuffle调优）。

批处理性能优化（下）

数据压缩（Snappy/Zstd）、序列化（Kryo）、缓存策略。

压缩序列化

ETL 架构设计

全量抽取 vs 增量抽取、CDC（Change Data Capture）方案、拉链表设计。

数据质量保障

数据校验规则、异常检测、重试机制、死信队列。

监控与告警体系

作业状态监控、延迟监控、资源利用率监控、自定义告警规则。

日志收集与分析

ELK/EFK 栈、结构化日志、链路追踪（OpenTelemetry）。

CI/CD 与版本管理

GitFlow、自动化测试（单元测试/集成测试）、部署流水线（Jenkins/GitLab CI）。

安全与权限控制

数据加密（TLS/SSL）、访问控制（RBAC/ABAP）、审计日志。

批处理架构高可用设计

主备切换、多活架构、故障转移策略。

高可用容灾

资源弹性伸缩（Auto Scaling）、Spot实例使用、冷热数据分层。

案例实战（一）

基于 Spark + Airflow 的电商离线数仓搭建。

案例实战（二）

基于 Flink + Kafka 的实时数仓与批处理混合架构。

实战混合架构

案例实战（三）

金融行业日终批量处理系统架构设计。

案例实战（四）

物联网设备数据批量清洗与聚合平台。

实战物联网

批处理架构演进趋势

Serverless Batch、Data Mesh、Lakehouse 架构。

架构评审与文档编写

架构设计文档模板、技术选型报告、评审 Checklist。

课程总结与面试指南

常见面试题解析、架构师能力模型、学习路径推荐。