VIP20

本课程属于：022-生物样本元信息治理 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Python元数据处理管线与数据血缘追踪

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

元数据管道概述

定义元数据 · 管道的作用 · 课程目标与前置知识

元数据管道概述定义元数据

Python环境 · 虚拟环境 · 依赖管理工具pip/conda

环境搭建Python

元数据管理基础

元数据分类 · 技术元数据 · 业务元数据

元数据管理基础元数据分类

数据源接入

关系型数据库 · NoSQL · 文件系统

数据源接入关系型数据库

数据提取（Extract）

全量抽取 · 增量抽取 · CDC技术

Extract数据提取

数据清洗（Clean）

缺失值处理 · 重复数据 · 数据标准化

Clean数据清洗

数据转换（Transform）

字段映射 · 数据类型转换 · 表达式计算

Transform数据转换

数据加载（Load）

全量加载 · 增量加载 · SCD策略

Load数据加载

管道调度基础

cron表达式 · 调度框架选择（Airflow · Prefect

管道调度基础cron

DAG定义 · Task · Operator

依赖管理 · 传感器 · 回填

管道监控与告警

日志收集 · 健康检查 · 失败通知

管道监控告警

数据质量检查

数据完整性验证 · 一致性校验 · 异常检测

数据质量检查数据完整性验证

元数据存储

选择数据库（PostgreSQL · MySQL） · 设计元数据表结构

元数据存储PostgreSQL

元数据API设计

RESTful API · GraphQL · 认证与授权

数据目录工具

Apache Atlas · DataHub · Amundsen

数据目录工具Apache

数据血缘追踪

手动解析SQL · 自动化血血解析器

数据血缘追踪SQL

数据模型版本 · 管道代码版本（Git） · 数据快照

版本控制数据模型版本

数据治理基础

数据权限 · 审计日志 · 合规性

数据治理基础数据权限

批处理管道

ETL vs ELT · 数据湖 vs 数据仓库

批处理管道ETL

流处理管道

Kafka集成 · 流式ETL · 实时元数据

流处理管道Kafka

容器化与编排

Docker · Docker Compose · Kubernetes

容器化编排

持续集成/持续部署（CI/CD）测试管道

单元测试 · 集成测试 · 回归测试

CI/CD持续集成

并行处理 · 分区 · 缓存

性能优化并行处理

异常处理与重试机制

错误分类 · 重试策略 · 死信队列

异常处理重试机制

安全最佳实践

数据脱敏 · 加密传输 · 访问控制

安全最佳实践数据脱敏

元数据管道测试策略

模拟数据源 · 测试数据 · 端到端测试

元数据管道测试策…模拟数据源

OpenTelemetry · 分布式追踪 · 指标监控

可观测性OpenTelemetr…

从零构建一个元数据管道

实战案例从零构建一个元数…

总结与展望

最佳实践汇总 · 未来趋势 · 资源推荐

最佳实践汇总未来趋势