VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业级机器学习数据流水线架构

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据流水线概述

定义、核心价值、与传统ETL的区别、现代数据栈简介。

架构设计原则

高内聚低耦合、可扩展性、容错性、幂等性、数据一致性保证。

数据源接入层设计

批式与流式数据源、API对接、数据库CDC、日志采集。

数据存储层设计

数据湖 vs 数据仓库 vs 湖仓一体（Lakehouse）。

计算引擎选型

Apache Spark、Flink、Kafka Streams、Dask 对比与适用场景。

编排与调度系统

Airflow、Dagster、Prefect、AWS Step Functions 架构与选型。

数据建模方法论

Kimball维度建模、Inmon范式建模、Data Vault 2.0、OneData。

建模方法论

实时流水线架构

Lambda架构、Kappa架构、流表二象性、实时数仓设计。

批处理流水线设计

全量同步、增量同步、拉链表设计、SCD缓慢变化维处理策略。

数据质量保障

数据质量六维度（完整性、准确性、一致性、及时性、唯一性、有效性）及监控框架。

元数据管理

技术元数据、业务元数据、操作元数据、Apache Atlas、DataHub 实践。

元数据治理

数据血缘与溯源

血缘采集原理、字段级血缘、影响分析与回溯分析。

数据安全与权限

RBAC、ABAC、数据脱敏、列级权限、审计日志。

数据治理体系

数据标准、数据目录、数据生命周期管理、成本治理。

CI/CD for Data Pipeline

数据管道版本控制、单元测试、集成测试、部署策略（蓝绿/金丝雀）。

监控与告警

Pipeline健康检查、延迟监控、数据倾斜检测、自定义告警规则。

Spark/Flink参数调优、数据倾斜处理、小文件问题、Shuffle优化。

计算资源弹性伸缩、存储分层（冷热温）、Spot实例、查询优化。

数据服务化

API网关、数据产品化、指标服务、特征平台（Feature Store）。

服务化Feature Store

数据湖实践

Apache Iceberg、Delta Lake、Apache Hudi 三大湖格式对比与选型。

数据湖格式

流批一体架构

Flink SQL + Hive/Iceberg 实现流批一体、实时物化视图。

流批一体Flink

事件驱动架构

Debezium + Kafka + Flink 实现实时事件处理、CQRS模式。

事件驱动CQRS

云原生数据流水线

Kubernetes部署、Operator模式、Serverless Data Pipeline（AWS Glue、GCP Dataflow）。

云原生Serverless

数据回放与重跑机制

Exactly-Once语义、Checkpoint机制、回溯补偿策略。

重跑Exactly-Once

多环境管理

开发/测试/生产环境隔离、数据沙箱、环境一致性保障。

数据契约（Data Contract）

Schema Registry、兼容性检查、消费者驱动契约。

大规模数据迁移

异构数据源迁移、双写策略、校验与割接方案。

AI/ML流水线集成

Feature Engineering Pipeline、模型训练/推理流水线、Feature Store与Online Serving。

数据流水线可观测性

OpenTelemetry集成、分布式追踪、日志聚合、SLO/SLI定义。

案例实战：从0到1构建企业级实时数据平台

需求分析、架构选型、落地实施、运维优化全流程。