VIP20
本课程属于：016-Cromwell WDL云端工作流 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Cromwell混合云部署与任务调度优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Cromwell简介
什么是Cromwell · 为什么需要混合云执行 · 适用场景与常见误区
Cromwell简介
02
环境搭建准备
本地与云端环境要求（Java · Docker · 云SDK）
环境搭建准备Java
03
配置文件基础
WDL与Cromwell.conf的… · 常见配置错误示例
配置文件基础WDL
04
后端选择与配置
Local · HPC · AWS Batch
后端选择配置
05
云凭证管理
安全存储云访问密钥 · 避免凭证泄露的实践
云凭证管理安全存储云访问密…
06
数据输入输出
从本地与云存储读取输入 · 输出到Bucket/Blob的注意事…
数据输入输出从本地
07
任务依赖与并行
如何设计DAG避免死锁 · 并行度设置不当导致资源浪费
任务依赖并行
08
容器镜像管理
Docker/ Singularit… · 缓存策略与私有仓库认证
容器镜像管理Docker
09
错误处理与重试
失败任务自动重试机制 · 超时设置与资源不足时的处理
错误处理重试
10
日志与监控
Cromwell日志级别设置 · 使用CloudWatch/Stack…
日志监控
11
成本控制
混云执行成本模型 · 避免因错误配置产生高额账单
成本控制混云执行成本模型
12
数据本地化
跨云数据传输优化 · 避免重复上传下载
数据本地化跨云数据传输优化
13
安全与权限
最小权限原则 · IAM角色与策略配置示例
安全权限
14
版本兼容性
Cromwell版本升级带来的配置变… · WDL版本差异
版本兼容性Cromwell
15
测试与调试
使用test workflow和模拟… · 常见调试命令
测试调试
16
工作流复用
如何编写可移植WDL · 跨环境迁移中的坑
工作流复用WDL
17
存量数据迁移
将已有数据从本地迁移到云存储时的注意…
存量数据迁移将已有数据从本地…
18
GPU与特殊硬件
在云端使用GPU计算 · 驱动与CUDA环境配置
GPU特殊硬件
19
大规模并行执行
万级任务调度可能遇到的问题（API限… · 队列积压）
大规模并行执行API
20
依赖服务高可用
MySQL/PostgreSQL数据… · Redis等依赖的备份与容灾
依赖服务高可用MySQL/Postgr…
21
本地与云混合调度
如何设置优先级让部分任务在本地运行 · 部分在云端
本地云混合调度
22
网络与防火墙
VPC · 安全组 · Proxy配置对Cromwell服务…
网络防火墙
23
存储系统选择
S3 · GCS · Azure Blob的区别与性能对比
存储系统选择S3
24
任务元数据管理
metadata数据库膨胀问题 · 清理策略
任务元数据管理metadata
25
回调与通知
配置webhook或SNS/SQS通…
回调通知
26
多云策略
同时使用AWS Batch和GCP…
多云策略AWS
27
监控与告警
设置关键指标（任务失败率 · 执行时间）的告警规则
监控告警
28
故障恢复
工作流中途中断后的续跑 · checkpoint机制
故障恢复工作流
29
安全合规
HIPAA · GDPR等合规要求对混合云执行的影响
安全合规HIPAA
30
实战案例
一个典型生物信息学pipeline在…
实战案例pipeline