VIP20
本课程属于：022-生物样本元信息治理 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

样本元数据同步与Airflow工作流编排

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
元数据概述
元数据的定义 · 分类（业务 · 技术
元数据概述元数据的定义
02
工作流基础
工作流概念 · DAG定义 · 任务节点与边的关系
工作流基础工作流概念
03
样本数据生命周期
采集 · 标注 · 清洗
样本数据生命周期采集
04
元数据模型设计
实体-关系模型 · 属性定义 · Schema演化策略
元数据模型设计实体
05
元数据采集工具
Apache Atlas · DataHub · Amundsen 对比与选型
元数据采集工具Apache
06
工作流编排工具概览
Airflow · Kubeflow Pipelines · Prefect 能力对比
工作流编排工具概…Airflow
07
Apache Airflow 架构
Scheduler · Executor · Worker
ApacheAirflow
08
编写第一个 Airflow DAG
Python 定义 DAG · 任务依赖 · 调度间隔
AirflowDAG
09
Airflow 操作符详解
BashOperator · PythonOperator · DockerOperator
Airflow操作符详解
10
Airflow 进阶
任务重试 · 超时 · SLAs
Airflow进阶
11
Kubeflow Pipelines
组件定义 · 管道组合 · 运行管理与 Artifact 跟踪
KubeflowPipelines
12
元数据采集实战
通过 Atlas REST API…
元数据采集实战Atlas
13
元数据血缘
数据依赖图构建 · 列级血缘 · 影响分析
元数据血缘数据依赖图构建
14
数据质量监控
完整性 · 准确性 · 一致性校验与告警
数据质量监控完整性
15
工作流监控与告警
任务失败重试 · 邮件/ Slack / PagerD…
工作流监控告警
16
样本元数据存储选型
Hive Metastore · AWS Glue Catalog · 自定义数据库
样本元数据存储选…Hive
17
元数据同步策略
全量同步 · 增量同步 · 事件驱动（CDC）同步
元数据同步策略全量同步
18
工作流编排最佳实践
参数化 DAG · 模板化任务 · 动态生成 DAG
工作流编排最佳实…DAG
19
元数据服务 API 设计
RESTful 接口 · 批量操作 · GraphQL 查询
API元数据服务
20
数据目录与搜索
标签分类 · 全文检索 · 权限控制与数据预览
数据目录搜索
21
工作流版本管理
DAG 版本化 · 回滚机制 · 金丝雀发布策略
工作流版本管理DAG
22
元数据治理
数据字典 · 数据分级 · 数据质量规则引擎
元数据治理数据字典
23
样本标注工作流
标注任务分配 · 标注结果采集与质量审核
样本标注工作流标注任务分配
24
工作流作业调度
Cron 表达式 · 外部事件触发 · 传感器模式
工作流作业调度Cron
25
元数据事件监听
基于 Kafka 的事件流 · Webhook 触发工作流
元数据事件监听Kafka
26
工作流测试与调试
单元测试 DAG · 集成测试 · 本地运行与 mock
工作流测试调试
27
元数据可视化
血缘图 · 数据流向图 · 仪表盘设计与实现
元数据可视化血缘图
28
工作流高可用
多集群部署 · 任务迁移 · 容错与恢复机制
工作流高可用多集群部署
29
元数据安全
加密传输与存储 · 访问控制（RBAC） · 审计日志
元数据安全加密传输
30
综合实战
构建端到端样本元数据工作流编排系统（…
综合实战构建端到端样本元…