VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Airflow机器学习训练数据管道建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据流水线概述

什么是数据流水线、为什么需要数据流水线、核心组件：数据源、处理引擎、存储、调度器。

环境准备与工具链

Python环境搭建、Docker安装与配置、Git版本控制、VS Code与Jupyter Notebook配置。

数据源接入（一）：文件

CSV、JSON、Parquet 文件的读取与写入，使用 Pandas 和 PyArrow 实现高效 I/O。

数据源接入（二）：数据库

MySQL、PostgreSQL 的连接与增量抽取，基于 SQLAlchemy 实现稳定抽取。

数据库SQLAlchemy

数据源接入（三）：API

RESTful API 与 WebSocket 数据采集，使用 Requests 和 WebSocket 库处理实时/批量接口。

数据源接入（四）：消息队列

Kafka、RabbitMQ 的消费与生产，使用 kafka-python 和 pika 构建异步数据管道。

消息队列Kafka

数据清洗基础

缺失值处理、重复值处理、异常值检测与处理，基于 Pandas 实现数据质量提升。

数据转换与特征工程

数据类型转换、分箱、独热编码、标准化与归一化，使用 Scikit-learn 完成特征工程。

特征工程Sklearn

数据验证与质量监控

数据质量规则定义、Great Expectations 库的使用、自动化数据质量报告生成。

质量Great Expectations

数据存储（一）：关系型数据库

MySQL 表结构设计与批量写入，使用 SQLAlchemy 实现高性能存储。

MySQL批量写入

数据存储（二）：列式存储

ClickHouse 建表与高性能写入，使用 clickhouse-driver 实现分析型存储。

ClickHouse列式

数据存储（三）：对象存储

MinIO/S3 文件上传与下载，使用 boto3 管理云原生对象存储。

数据存储（四）：数据湖

Delta Lake 基础操作与 ACID 事务，使用 delta-spark 构建可靠数据湖。

Delta Lake数据湖

任务调度（一）：Cron

Cron 表达式与 Linux 定时任务，实现简单的周期性调度。

任务调度（二）：Airflow 基础

Apache Airflow 安装、DAG 定义与任务编排，使用 Airflow 2.x 构建工作流。

任务调度（三）：Airflow 进阶

传感器、分支、任务依赖与重试机制，掌握 Airflow 高级调度特性。

传感器重试

任务调度（四）：Prefect

Prefect 2.x 快速上手与 Airflow 对比，体验现代工作流引擎。

数据流水线监控

日志收集（ELK Stack）、指标监控（Prometheus + Grafana）、告警配置。

数据血缘与元数据管理

Apache Atlas 与 DataHub 简单集成，追踪数据流向与血缘关系。

数据流水线测试

单元测试（pytest）、集成测试、数据质量测试，保障流水线可靠性。

数据流水线 CI/CD

GitHub Actions 自动化测试与部署，Docker 镜像构建与推送。

CI/CDGitHub Actions

数据流水线容器化

Docker Compose 编排多服务（MySQL、Airflow、MinIO），编写 Dockerfile。

ETL 流水线实战（Airflow）

基于 Airflow 从 MySQL 抽取数据到 ClickHouse，完成经典 ETL 流程。

ELT 流水线实战（Airflow）

从 API 采集数据到 Delta Lake，基于 Airflow 实现 ELT 数据管道。

实时流水线实战

Kafka + Spark Streaming + ClickHouse 构建实时数据处理流水线。

并行处理（多线程/多进程）、批量操作、索引优化、分区表设计。

数据流水线安全

数据加密（AES/RSA）、访问控制（RBAC）、密钥管理（Vault）。

云资源选型、Spot 实例使用、数据压缩与生命周期管理。

成本云资源

常见故障类型、重试策略、死信队列、人工干预流程。

综合实战：电商数据流水线

从零搭建完整电商数据流水线：数据采集 → 清洗 → 存储 → 调度 → 监控。

专注课程资料整理