VIP20

本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Prefect工作流编排与任务依赖开发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是Prefect、为什么选择Prefect、Prefect vs Airflow对比、核心概念速览。

Python环境准备、Prefect安装、Prefect UI启动、第一个Hello World流程。

Flow与Task基础

@flow装饰器详解、@task装饰器详解、任务依赖关系、返回值传递。

装饰器依赖

flow名称与描述、flow版本管理、flow标签与分组、flow的调度策略。

task重试机制、task超时设置、task缓存策略、task标签与优先级。

Parameters基础用法、参数类型校验、参数默认值、从外部传入参数。

任务状态管理

状态机模型、状态回调函数、自定义状态处理、状态持久化。

Flow运行控制

顺序执行、并行执行、条件分支、动态任务生成。

控制流动态

子流程设计

子流程定义、子流程参数传递、子流程结果聚合、嵌套流程最佳实践。

异常捕获机制、重试策略配置、失败通知、优雅降级方案。

Prefect日志级别、自定义日志处理器、日志持久化、日志与监控集成。

task缓存原理、缓存键设计、缓存过期策略、分布式缓存集成。

缓存分布式

Cron表达式基础、Interval调度、Rrule调度、时区处理。

事件监听机制、事件触发流程、Webhook集成、消息队列对接。

并发限制设置、资源池管理、任务队列优先级、背压机制。

本地文件存储、S3/GCS集成、数据库存储、自定义存储后端。

结果持久化

Result类型详解、序列化配置、结果存储策略、大结果处理。

持久化序列化

邮件通知配置、Slack集成、自定义通知渠道、通知模板。

Dashboard概览、Flow运行监控、Task执行详情、历史记录查询。

REST API概览、认证机制、流程CRUD操作、运行状态查询。

Deployment管理

Deployment创建、参数化部署、版本回滚、蓝绿部署策略。

队列原理、队列配置、Worker绑定、负载均衡策略。

队列负载均衡

Agent类型介绍、Agent启动配置、Agent健康检查、Agent扩缩容。

Prefect Server架构、数据库配置、高可用部署、性能调优。

Server高可用

Prefect Cloud特性、Workspace管理、团队协作、权限控制。

单元测试Task、集成测试Flow、Mock外部依赖、测试覆盖率。

Task粒度设计、数据本地性、批处理优化、内存管理技巧。

敏感信息管理、密钥轮换、网络隔离、审计日志。

Prometheus集成、Grafana面板、自定义指标、告警规则配置。

ETL数据管道、ML模型训练流程、定时报表生成、微服务编排。