4、采集管线架构设计：采集器、处理器、导出器三层架构，以及Terraform如何编排

SLI 口径采集管线是连接可观测数据源与 SLO 计算引擎的中间层。一个生产级的采集管线必须支持高并发接入、动态字段清洗、多后端路由，并且能够通过基础设施即代码（IaC）进行版本化管理。本章将拆解采集管线的三层标准架构，并展示 Terraform 如何通过模块化编排实现每一层的声明式部署。

4.1 三层架构总览

采集管线遵循 采集器（Collector）→ 处理器（Processor）→ 导出器（Exporter） 的线性数据流模型。每一层职责单一、可独立扩展，通过标准接口（gRPC / HTTP / 本地管道）进行数据传递。

4.2 采集器层：多协议接入与生命周期管理

采集器是管线的入口，负责接收来自不同数据源的原始指标。在生产环境中，采集器通常以无状态服务集群的方式部署，通过 ServiceMonitor 或 PodMonitor 动态发现目标。

4.3 处理器层：口径映射与数据变换

处理器是管线的核心逻辑层。SLI 口径的差异（例如：99 分位延迟 vs 平均延迟、错误码范围定义）在此层通过规则引擎或 DSL 脚本实现。处理器必须支持热加载配置，避免重启导致数据丢失。

常见的处理器类型包括：

• 标签处理器： 重命名、删除、添加标签（例如将 service_name 统一为 service）。
• 聚合处理器： 按时间窗口计算 P50/P90/P99、速率、增量。
• 口径映射处理器： 将原始指标名映射为 SLI 标准名称（如 http_requests_total → sli:http:requests:count）。
• 降采样处理器： 对高基数指标进行预聚合，减少存储成本。
• 过滤处理器： 丢弃不符合 SLI 口径的指标（如非生产环境数据）。

# Terraform 中定义处理器配置（以 OpenTelemetry Collector 为例）
resource "kubernetes_config_map" "otel_processor" {
  metadata {
    name      = "otel-processor-config"
    namespace = "observability"
  }

  data = {
    "processor.yaml" = yamlencode({
      processors = {
        batch = {
          timeout = "5s"
          send_batch_size = 10000
        }
        memory_limiter = {
          check_interval = "1s"
          limit_mib      = 512
        }
        filter = {
          metrics = {
            include = {
              match_type = "regexp"
              metric_names = ["sli:.*"]
            }
          }
        }
        transform = {
          metric_statements = [
            {
              context = "datapoint"
              statements = [
                "set(attributes[\"sli_version\"], \"v2\")",
                "set(metric.name, Concat([\"sli:\", metric.name], \":\"))"
              ]
            }
          ]
        }
      }
    })
  }
}

4.4 导出器层：多后端路由与高可用写入

导出器负责将处理后的 SLI 数据写入存储后端。生产环境通常采用 主写 + 灾备 或 扇出（Fan-out） 模式，确保数据不因单点故障而丢失。

4.5 Terraform 如何编排三层管线

Terraform 通过模块化组合，将采集器、处理器、导出器定义为独立的子模块，并通过 数据流依赖 和 配置注入 串联整个管线。编排的核心思路是：

1. 定义全局变量： 如 collector_endpoint、processor_rules、exporter_backends。
2. 实例化采集器模块： 传入端口、协议、资源限制。
3. 实例化处理器模块： 引用采集器的输出地址，注入口径映射规则。
4. 实例化导出器模块： 引用处理器的输出地址，配置后端连接信息。
5. 输出管线拓扑： 通过 output 暴露各层端点，供监控和告警系统使用。

# main.tf - 采集管线根模块
module "collector" {
  source = "./modules/collector"

  namespace       = var.namespace
  collector_ports = var.collector_ports
  replicas        = var.collector_replicas
}

module "processor" {
  source = "./modules/processor"

  namespace       = var.namespace
  input_endpoint  = module.collector.endpoint  # 依赖采集器输出
  sli_rules       = var.sli_rules              # 口径映射规则
  processor_cpu   = var.processor_cpu
}

module "exporter" {
  source = "./modules/exporter"

  namespace        = var.namespace
  input_endpoint   = module.processor.endpoint  # 依赖处理器输出
  backend_config   = var.backend_config         # 后端连接信息
  exporter_retries = var.exporter_retries
}

output "pipeline_endpoints" {
  value = {
    collector = module.collector.endpoint
    processor = module.processor.endpoint
    exporter  = module.exporter.endpoint
  }
}

output "pipeline_health" {
  value = {
    collector = module.collector.health_status
    processor = module.processor.health_status
    exporter  = module.exporter.health_status
  }
}