VIP20

本课程属于：001-Python与MATLAB科学计算工程 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

科研计算工作流自动化实战45例

共计 45 章节

可可资料掘金营 · 点击在线试看

科研计算工作流现状梳理与自动化边界判定

针对一个包含数据预处理 · 仿真 · 后处理与绘图的多步骤科研计算任务

科研计算工作流现…自动化边界判定

用 Shell 脚本封装单步计算命令并统一参数入口

将一个依赖多个命令行参数的单步科学计… · 默认值与日志输出的 Shell 脚本 · 使同一命令可通过统一入口重复执行

Shell脚本封装单步计算…

基于 Makefile 的多步骤计算依赖编排

用 Makefile 描述数据生成 · 计算与结果汇总之间的文件依赖关系 · 实现仅重算受影响步骤的增量执行

Python 脚本驱动外部计算程序的子进程封装

编写 Python 脚本调用外部科学… · 捕获标准输出与返回码 · 将运行状态和关键指标写入结构化日志

Python脚本驱动外部计算…

计算任务参数扫描的配置文件批量生成

针对一组待扫描的物理参数组合 · 用脚本从模板批量生成独立配置文件并建… · 避免手工复制出错

计算任务参数扫描…针对一组待扫描的…

参数扫描作业的串行与并行执行调度

在本地多核环境中对批量参数扫描任务实… · 限制并发数并收集每个任务的耗时与退出… · 对比串行与并行的总耗时

参数扫描作业的串…并行执行调度

计算工作流的输入输出契约与目录规范设计

为一个多阶段科研计算项目设计统一的输… · 中间结果与输出目录规范及文件命名契约 · 并编写校验脚本在每阶段开始前检查契约…

计算工作流的输入…目录规范设计

工作流中间结果的完整性校验与断点续算

为长耗时计算工作流增加中间结果校验和… · 使任务中断后能从最近一个有效检查点继… · 并验证跳过已完成步骤的正确性

工作流间结果的完整性校…

基于 Snakemake 的科研计算流程规则化

将已有 Shell 与 Python… · 声明输入输出与通配符 · 实现从原始数据到最终图表的端到端可重…

Snakemake基于

Snakemake 集群提交配置与资源声明

为 Snakemake 流程配置集群… · 为不同规则声明 CPU · 内存与运行时间需求

Snakemake集群提交配置

Nextflow 流程的通道设计与数据流组织

用 Nextflow 的 chann… · 将样本元数据与文件路径配对后送入处理… · 并检查通道消费与输出收集行为

Nextflow流程的通道设计

Nextflow 流程的容器化执行环境固定

为 Nextflow 各处理过程指定… · 固定软件依赖版本 · 并在本地容器运行时下验证流程可复现执…

Nextflow流程的容器化执行…

计算工作流的失败重试与错误分类处理

为工作流中的易失败步骤设计重试策略 · 区分可重试错误与不可重试错误 · 记录每次尝试的日志并验证重试次数耗尽…

计算工作流的失败…错误分类处理

工作流运行日志的集中采集与状态汇总

将分散在各步骤日志文件中的开始时间 · 结束时间 · 退出码与关键指标抽取为统一运行报告

工作流运行日志的…采集

科研计算环境的依赖锁定与可复现构建

为工作流所需 Python 与系统依… · 在干净环境中重建并运行一个基准计算任… · 验证两次运行结果一致

科研计算环境的依…可复现构建

容器镜像构建与工作流步骤隔离

编写容器构建文件封装一个科学计算步骤… · 将工作流中该步骤切换为容器执行 · 并验证输入输出挂载与结果一致性

容器镜像构建工作流步骤隔离

工作流参数化的配置分层与环境切换

将工作流配置拆分为默认配置 · 环境配置与用户覆盖三层 · 实现本地调试与集群运行之间的参数切换

工作流参数化的配…环境切换

计算任务资源使用监测与瓶颈识别

在运行工作流时采集各步骤的 CPU · 内存与磁盘 I/O 使用情况 · 识别资源瓶颈步骤并据此调整并行度或资…

计算任务资源使用…瓶颈识别

工作流性能剖析与关键路径分析

记录工作流各步骤的起止时间并构建依赖… · 计算关键路径与各步骤等待时间 · 定位影响总耗时的主要环节

工作流性能剖析关键路径分析

基于 DAG 的工作流依赖冲突排查

构造一个存在循环依赖或缺失输入的工作… · 利用工作流引擎的图检查功能定位冲突规… · 并修正依赖声明使流程可执行

工作流输出结果的自动汇总与表格生成

编写后处理脚本遍历各参数组合的输出目… · 提取指定指标并汇总为带参数列的表格文… · 同时校验缺失输出并报告

工作流输出结果的…表格生成

计算结果图表的批量生成与命名规范

基于汇总表格为每组参数自动生成图表文… · 按统一命名规范保存 · 并验证图表数量与参数组合数量一致

计算结果图表的批…命名规范

工作流版本控制与变更影响分析

将工作流脚本 · 配置与规则文件纳入版本控制 · 模拟修改一个计算步骤后利用版本差异判…

工作流版本控制变更影响分析

工作流输入数据变更的自动传播验证

修改原始输入数据的一个子集 · 运行工作流并验证仅依赖该子集的中间结… · 其余结果保持不变

工作流输入数据变…修改原始输入数据…

计算工作流的单元测试与步骤级验证

为工作流中的关键计算步骤编写小规模输… · 验证步骤在给定输入下产生预期结果 · 并将测试纳入工作流前置检查

计算工作流的单元…步骤级验证

工作流端到端回归测试与基准结果比对

建立包含固定输入与基准输出的端到端回… · 运行完整工作流后将关键结果与基准值按… · 报告偏差超限项

工作流端到端回归…基准结果比对

数值结果不确定性的批量评估流程

为含随机扰动的计算任务设计批量重复运… · 收集多次运行结果并统计均值与离散程度 · 验证自动化流程能稳定产出统计量

数值结果不确定性…为含随机扰动的计…

工作流中的随机种子控制与可复现性验证

在工作流各随机步骤中统一注入并记录随… · 重复运行两次完整流程并比对输出 · 定位未受控的随机来源

工作流随机种子控制

大规模参数扫描的分片与结果合并

将大规模参数扫描拆分为多个分片任务分… · 再按分片编号合并结果 · 验证合并后结果与一次性运行一致且无重…

大规模参数扫描的…结果合并

工作流中间文件清理与存储空间管理

为工作流定义中间文件保留策略 · 在步骤完成后按规则清理临时文件 · 并验证清理后流程仍可从保留的检查点继…

工作流间文件清理

远程计算节点的任务分发与结果回收

通过 SSH 将工作流中的计算步骤分… · 回收输出文件与日志 · 并处理连接中断后的任务状态确认

远程计算节点的任…结果回收

集群作业脚本模板与数组作业封装

为参数扫描任务生成集群数组作业脚本模… · 将参数索引映射到具体参数组合 · 并验证数组作业各子任务输出正确归档

集群作业脚本模板数组作业封装

工作流通知与异常告警集成

在工作流成功结束或关键步骤失败时触发… · 包含运行标识 · 失败步骤与日志路径

工作流通知异常告警集成

工作流运行元数据记录与实验追溯

为每次工作流运行生成包含代码版本 · 配置哈希 · 输入数据标识与开始结束时间的元数据记…

工作流运行元数据…实验追溯

多用户共享工作流环境的冲突规避

设计多用户在同一计算节点上运行同一工… · 包括独立工作目录 · 临时目录与锁文件

多用户共享工作流…设计多用户

工作流中断恢复后的状态一致性检查

模拟工作流在步骤执行中途被强制终止 · 恢复运行后检查已完成步骤输出与未完成… · 验证不会重复写入或跳过必要计算

工作流断恢复后的状态一…

计算步骤超时控制与资源超限处理

为工作流步骤设置超时与内存上限 · 构造超限场景验证步骤被终止并记录原因 · 同时确保下游步骤不会基于不完整输出继…

计算步骤超时控制资源超限处理

工作流输出文件的校验和与传输完整性验证

在工作流输出归档前后计算文件校验和 · 验证传输或复制过程中文件未损坏 · 并对校验失败的文件触发重新生成

工作流输出文件的…传输完整性验证

基于工作流模板的新项目快速初始化

将已验证的工作流整理为项目模板 · 包含目录结构 · 配置样例与占位规则

基于工作流模板的…将已验证的工作流…

工作流文档自动生成与参数说明同步

从工作流配置与规则定义中自动提取参数… · 生成项目文档 · 并验证文档与当前工作流定义保持一致

工作流文档自动生…参数说明同步

工作流迁移至新计算平台的适配验证

将本地运行的工作流迁移到另一计算平台 · 调整提交与路径配置后运行基准任务 · 比对迁移前后关键输出以验证适配正确性

工作流迁移至新计…将本地运行的工作…

工作流成本估算与运行预算控制

根据历史运行记录统计各步骤资源消耗 · 建立单次运行成本估算表 · 并在提交大批量任务前按预算上限检查参…

工作流成本估算运行预算控制

工作流安全边界与敏感数据路径处理

识别工作流中涉及敏感输入数据的步骤 · 设计路径脱敏与日志过滤规则 · 验证运行日志和通知中不泄露敏感路径或…

工作流安全边界敏感数据路径处理

工作流规则复用与子工作流拆分

将通用预处理与后处理步骤抽取为可复用… · 在主工作流中引用并传入参数 · 验证复用后主流程输出与拆分前一致

工作流规则复用子工作流拆分

工作流自动化方案的评审与交付检查

针对一个完整科研计算工作流自动化方案 · 按可复现性 · 可追溯性

工作流自动化方案…交付检查