📚 课程目录第3章资源治理的目标与约束

3. 资源治理的目标与约束

在生物计算平台中，资源治理并不是“把机器分给任务”这么简单。一个测序分析任务、一次分子动力学模拟、一轮蛋白结构预测，背后同时牵扯五类彼此拉扯的目标：公平性（谁该先拿到资源）、效率（资源是否被充分利用）、成本（花掉多少钱）、可复现性（结果能否被重放）以及合规性（数据与流程是否合法合规）。这五个目标很少能同时最优，治理的本质就是在约束下做有意识的取舍，而不是追求某个单点指标的最大化。

五个目标各自的含义与度量

先明确每个目标“到底在管什么”，否则权衡会变成空谈。

公平性：关注资源在用户、课题组、项目之间的分配是否合理。常用度量包括各队列的等待时间分布、最大最小份额比（如某课题组占用不超过总配额的 30%）、以及是否存在长期饥饿的作业。
效率：关注资源利用率与吞吐。典型指标是集群 CPU/GPU 平均利用率、作业排队时长、单位时间完成的任务数。效率高不等于体验好——把机器塞满可能让短任务永远排在长任务后面。
成本：关注单位计算产出的花费。云上按 vCPU·小时、GPU·小时计费，本地集群则折算电力、折旧与运维人力。成本目标常表现为预算上限或“每样本分析成本不超过 X 元”。
可复现性：关注同一输入能否得到可验证的同一结果。它要求固定镜像版本、工具版本、参考基因组版本、随机种子与参数，并保留完整运行记录。
合规性：关注数据是否越权访问、是否出境、是否满足伦理与法规要求。人类基因组数据通常要求不出受控环境、访问留痕、加密存储。

这五个目标之间存在真实的冲突关系：提高效率往往意味着更大的批处理与更高的资源占用，可能挤压小用户的公平性；压低成本可能促使使用抢占式实例，从而增加任务中断、损害可复现性；强化合规（如数据不出域）会限制可用资源池，反过来抬高成本、降低效率。因此治理不是“全都做好”，而是明确优先级与硬约束。

把目标翻译成可执行的约束

权衡要落地，必须把抽象目标转成调度器、配额系统和流水线能识别的规则。下面给出一份示例性的治理策略片段（参数为教学假设值，非实测）：

# 治理策略示例（教学假设值）
global:
  budget_monthly_cny: 80000        # 月度成本硬上限
  data_residency: "cn-north"       # 合规：数据不出区域

queues:
  - name: clinical            # 临床样本，合规优先级最高
    priority: 100
    max_share: 0.40           # 公平性：不超过总资源 40%
    preemptible: false        # 可复现性：禁止被抢占
    image_policy: "pinned"    # 镜像必须固定 digest
  - name: research
    priority: 60
    max_share: 0.50
    preemptible: true         # 允许抢占以降低成本
  - name: teaching
    priority: 20
    max_share: 0.10
    preemptible: true

reproducibility:
  require_image_digest: true
  require_seed: true
  record_reference_version: true

compliance:
  pii_scan: true              # 提交前扫描受控数据
  audit_log: true

这份策略里，合规被写成硬约束（数据驻留、PII 扫描），可复现性被写成准入条件（镜像 digest、随机种子），公平性通过 max_share 限制单队列占比，成本通过预算上限和抢占式队列控制，效率则体现在优先级与抢占策略上。注意：硬约束不可被“优化”掉，软目标才允许在冲突时让步。

多目标权衡的决策逻辑

当资源紧张、多个目标冲突时，需要一个稳定的判断顺序。下图给出本节的核心权衡关系：五个目标通过约束与策略相互牵制，最终收敛到一组可执行的调度决策。

图中的实线表示目标之间的直接冲突，虚线表示由某个目标派生出的约束会反向影响其他目标。例如“成本”目标若采用抢占式实例，会带来任务中断，进而威胁“可复现性”；“合规性”限制数据驻留区域，会缩小可用资源池，从而影响“效率”和“成本”。这些派生影响正是治理中最容易被忽视的部分。

一个可操作的权衡示例

假设某平台月度预算 8 万元，当前有三个队列：临床（合规优先）、科研（效率优先）、教学（成本优先）。某天科研队列提交了 200 个全基因组分析任务，若全部立即执行，将占用 90% 资源并超出预算。治理系统按以下顺序处理：

硬约束过滤：检查数据是否含受控人类遗传资源、是否在允许区域。不合规任务直接拒绝并记录审计日志。
可复现性准入：检查镜像是否固定 digest、是否指定随机种子。不满足的任务退回，要求补充后再提交。
公平性配额：科研队列 max_share=0.50，因此最多占用一半资源，剩余留给临床与教学。
成本控制：超出预算部分转入抢占式队列，允许被高优先级任务中断，但要求可复现性字段完整，以便中断后重跑结果一致。
效率优化：在配额内按任务长度排序，短任务优先，减少平均等待时间。

最终结果是：临床任务不受影响，科研任务部分延迟但可重跑，教学任务在低峰期执行，总成本控制在预算内。这个结果不是“每个目标都最优”，而是在硬约束下让软目标达到可接受的平衡。

实践提示：治理策略应定期复盘。建议每月统计各队列的等待时间、利用率、超预算次数、重跑率与合规拦截数，用这些数据判断当前优先级是否需要调整。例如重跑率持续偏高，说明抢占策略对可复现性的伤害已超出成本收益，应减少抢占或加强检查点机制。

常见误区：把公平性简单等同于“平均分配”。在生物计算中，临床样本的时效性远高于教学任务，绝对平均反而损害整体价值。公平性应理解为“按约定规则分配”，规则本身可以体现优先级差异，但必须透明、可审计、可申诉。

总结来看，资源治理的目标不是消除冲突，而是把冲突显式化、规则化、可审计化。公平性、效率、成本、可复现性与合规性各自有明确的度量与约束形式，治理者要做的是：先锁定不可让步的硬约束（通常是合规与可复现性），再在剩余空间内按业务优先级调度效率、成本与公平性。只有这样，多目标权衡才能从口号变成每天可执行的调度决策。