📚 课程目录第4章任务编排基础

弹性伸缩任务模板与多环境参数配置体系 - 第4节

4.1 DAG 核心概念与任务编排模型

在弹性伸缩运营场景中，一个完整的扩缩容流程往往包含多个子任务：指标采集、策略判定、资源预占、实例启动、健康检查、流量接入、后置清理。这些子任务之间存在明确的先后约束与数据依赖，DAG（有向无环图）正是描述这种依赖关系最严谨的数学模型。

4.1.1 DAG 三要素

要素	定义	运营编排中的含义
顶点（Vertex）	图中的节点，代表一个独立任务	如“查询CPU指标”“调用扩容API”“等待就绪探针”
有向边（Directed Edge）	从上游指向下游的箭头，表示依赖方向	“健康检查”必须等“实例启动”完成后才能执行
无环（Acyclic）	图中不存在任何闭环路径	避免死循环依赖，保证编排引擎可拓扑排序并终止

  关键认知：DAG 不描述“怎么做”，只描述“谁先谁后”。任务的具体执行逻辑由算子实现，DAG 只负责编排执行顺序与数据传递。

4.1.2 任务依赖关系的三种类型

顺序依赖（Sequence）：任务 B 必须等任务 A 完成后才能启动。例如：create_instance → wait_healthy。
并行依赖（Parallel）：多个任务没有共同依赖，可同时执行。例如：同时查询 CPU 和内存指标。
条件依赖（Conditional）：根据上游输出结果决定下游是否执行。例如：指标未超阈值则跳过扩容分支。

4.2 执行顺序与拓扑排序

DAG 编排引擎通过拓扑排序（Topological Sort）将图结构转换为线性执行序列。只要图是无环的，拓扑排序一定存在，且可能不唯一。

4.2.1 拓扑排序算法原理

入度统计：计算每个顶点的入度（指向该顶点的边数）。
零入度入队：将所有入度为 0 的顶点加入待执行队列。
执行与出队：从队列取出一个顶点执行，将其所有下游顶点的入度减 1。
重复：若减 1 后下游顶点入度变为 0，则加入队列；直到所有顶点执行完毕。
环检测：若最终执行的顶点数小于总顶点数，说明图中存在环。

运营编排实践：在弹性伸缩任务中，拓扑排序天然支持并行度最大化。入度为 0 的顶点可以同时调度，无需等待其他任务，从而缩短整体扩缩容耗时。

4.2.2 执行顺序的三种调度策略

策略	描述	适用场景
串行调度	每次只执行一个任务，完成后触发下游	资源敏感型操作，如单机扩容
并行调度	所有就绪任务同时执行	批量扩缩容、多指标采集
分层调度	按拓扑层级分批执行，同层并行	大规模集群编排，控制并发水位

4.3 任务编排中的参数传递与环境配置

DAG 不仅控制执行顺序，还负责在任务间传递上下文参数。每个任务执行后产生的输出（如实例 ID、IP 列表、状态码）需要被下游任务消费。

4.3.1 参数传递的三种模式

模式	实现方式	典型场景
全局上下文	所有任务共享一个 KV 存储，上游写入、下游读取	传递集群名称、命名空间、模板版本
显式输入输出	每个任务声明 inputs 和 outputs，引擎自动绑定	前序任务输出实例 ID，后续任务用该 ID 做健康检查
环境变量注入	将参数以环境变量形式注入任务执行容器	传递 API 地址、认证、超时时间

4.3.2 环境参数配置最佳实践

分离静态与动态参数：集群 ID、区域等静态参数在 DAG 定义时注入；实例 IP、任务状态等动态参数在运行时通过上下文传递。
参数校验前置：在 DAG 入口节点做参数完整性校验，避免下游因缺少参数而失败。
敏感信息加密：、密码等敏感参数使用 KMS 加密，运行时解密注入，不在 DAG 定义中明文存储。

常见陷阱：不要将大量数据（如完整日志、大文件内容）通过 DAG 上下文传递。上下文通常存储在内存或分布式缓存中，大对象会显著增加序列化开销和网络延迟。应使用共享存储（如 OSS、S3）传递大数据，上下文只传递存储路径。

4.4 弹性伸缩场景的 DAG 编排示例

以下是一个标准扩容流程的 DAG 定义片段，使用 YAML 格式描述任务依赖与参数传递：

version: "1.0"
dag:
  id: "scale-out-pipeline"
  tasks:
    - id: "collect_metrics"
      type: "http"
      inputs:
        endpoint: "${global.metrics_endpoint}"
        query: "cpu_usage > 80"
      outputs:
        - "threshold_breached"
    - id: "check_quota"
      type: "quota_check"
      inputs:
        region: "${global.region}"
        instance_type: "c5.xlarge"
      outputs:
        - "available_count"
    - id: "decide_scaling"
      type: "condition"
      depends_on: ["collect_metrics", "check_quota"]
      inputs:
        condition: "${tasks.collect_metrics.threshold_breached} == true"
        if_true: "provision_instance"
        if_false: "noop"
    - id: "provision_instance"
      type: "compute"
      depends_on: ["decide_scaling"]
      inputs:
        count: "${tasks.check_quota.available_count}"
        template_id: "${global.template_id}"
      outputs:
        - "instance_ids"
    - id: "health_check"
      type: "wait"
      depends_on: ["provision_instance"]
      inputs:
        targets: "${tasks.provision_instance.instance_ids}"
        timeout: 120
      outputs:
        - "healthy_instances"
    - id: "attach_lb"
      type: "loadbalancer"
      depends_on: ["health_check"]
      inputs:
        instances: "${tasks.health_check.healthy_instances}"
        target_group: "${global.target_group_arn}"

  编排要点：每个任务通过 depends_on 声明上游依赖，通过 ${tasks.xxx.output} 引用上游输出。引擎解析 DAG 后自动构建执行顺序图，并保证所有依赖满足后才调度下游任务。

4.5 本章小结

DAG 是任务编排的数学基础，通过顶点、有向边和无环约束描述任务依赖关系。
拓扑排序将 DAG 转换为线性执行序列，入度为 0 的顶点可并行执行，最大化编排效率。
参数传递支持全局上下文、显式输入输出和环境变量三种模式，需根据数据大小和敏感性选择合适方式。
弹性伸缩场景中，DAG 编排应包含指标采集、策略判定、资源预占、实例启动、健康检查和流量接入等核心节点。