VIP20

本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Prefect工作流状态监控与生产运维

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

工作流引擎概述、Prefect发展史、核心概念（Flow、Task、Deployment）及安装Hello World。

Flow与Task基础

Flow定义与运行、Task装饰器详解、输入输出、依赖关系及Flow嵌套。

Task状态管理

状态机模型（Pending、Running、Success、Failed等）、转换规则、自定义状态与回调函数。

Flow运行配置

Flow参数传递、FlowRunner配置、并发与顺序控制、标签与分组管理。

Prefect Orion UI

Orion Server启动配置、Dashboard概览、Flow Runs与Task Runs视图及日志查看。

Deployment与调度

Deployment概念、CLI与Python API创建、Cron调度、事件驱动及参数化部署。

Work Queue与Agent

Work Queue原理、Agent启动配置、Work Pool概念、绑定与多Agent负载均衡。

通知与告警

通知机制、Slack/Email配置、自定义Webhook、通知模板及告警级别设置。

日志系统架构、级别配置、自定义处理器、持久化（文件/数据库）及检索过滤。

日志持久化

状态持久化

Result存储机制、本地与远程存储（S3/GCS/Azure Blob）、序列化及缓存策略。

Flow与Task重试机制

自动重试配置、指数退避策略、自定义条件、次数限制及状态观察。

超时与超时处理

Task与Flow超时设置、状态转换、超时回调及超时与重试协同。

TaskRunner（Sequential/Concurrent/Dask）、并发度设置、资源限制与全局控制。

Flow与Task的上下文管理

Prefect上下文对象、运行时获取、变量传递、自定义上下文及日志关联。

上下文运行时

Flow参数化与配置管理

参数定义与校验、默认值、多来源（CLI/API/文件）、配置中心集成及敏感信息管理。

Flow版本管理

版本号机制、版本对比、回滚、标签及与Deployment的关联。

Flow运行历史与审计

运行历史查询API、状态统计、耗时分析、失败模式分析及审计日志导出。

监控指标与Metrics

Prefect Metrics概述、Prometheus集成、Grafana仪表盘、关键指标及自定义Metrics。

健康检查与自愈

Flow与Task健康探针、自愈策略（自动重启、降级、熔断）、健康检查API及Dashboard。

Flow与Task的标签与搜索

标签定义与使用、过滤、权限、全文搜索及高级搜索语法。

依赖图可视化

依赖图生成、交互（缩放/点击）、导出、状态着色及性能优化。

可视化依赖

Flow运行时的动态控制

运行时暂停/恢复、取消、参数修改、注入及Hook机制。

外部系统集成

数据库（PostgreSQL/MySQL）、消息队列（Kafka/RabbitMQ）、云服务及API集成。

Flow与Task的测试策略

单元测试、集成测试、Mock外部依赖、测试夹具及覆盖率。

Flow与Task的调试技巧

本地调试、断点调试、日志调试、状态快照调试及远程调试。

Prefect Server高可用部署

多节点架构、数据库主从、Orion负载均衡、Agent高可用及故障转移。

高可用部署

Prefect安全最佳实践

API认证授权、RBAC权限、敏感信息加密（Vault）、网络策略及审计日志安全。

Flow与Task的性能优化

Task粒度优化、数据传递优化、并发度调优、资源分配及缓存策略优化。

Prefect与Kubernetes集成

K8s Agent部署、Work Pool配置、Pod资源管理、Secrets管理及事件监控。

Prefect实战案例

ETL数据管道监控、ML模型训练工作流、定时报表生成、多云调度及故障自愈流水线。