Collector 管道核心组件：Source、Processor、Sink 的定义与职责

平台工程自助目录中的 Collector 管道采用经典的三阶段流水线架构：Source（数据源）、Processor（处理器）、Sink（数据汇）。每个阶段职责明确、可独立配置与扩展，组件之间通过内部事件总线或通道（Channel）进行异步通信，实现高吞吐、低耦合的数据采集与处理。

2.1 核心组件定义与职责

2.2 组件间通信机制

Collector 管道内部采用 Channel（通道） 作为组件间的数据交换媒介。Source 将事件写入 Channel，Processor 从 Channel 读取并处理后写回下游 Channel，最终由 Sink 消费。这种生产者-消费者模式天然支持异步解耦和流量削峰。

2.2.1 通道类型对比

2.2.2 背压与流量控制

当 Sink 写入速度低于 Source 采集速度时，Channel 会触发背压（Backpressure）机制：

• Memory Channel：通过队列容量上限（capacity）和拒绝策略（discard/block）控制。
• File Channel：通过磁盘空间阈值和检查点间隔控制写入速率。
• Kafka Channel：依赖 Kafka 生产者的 max.block.ms 和缓冲池大小。

2.3 管道数据流与组件协作

下图展示了一个典型的三阶段管道数据流，包含 Source 采集、Processor 链式处理、Sink 多路输出，以及 Channel 在组件间的缓冲与解耦作用。

2.4 组件生命周期与事件传递

每个组件在管道启动时经历 初始化 → 启动 → 运行 → 关闭 四个阶段。事件在组件间以 Event 对象 形式传递，包含 headers（元数据）和 body（负载）两部分：

// Event 结构示例
{
  "headers": {
    "source_type": "http",
    "timestamp": 1712567890123,
    "tenant_id": "platform-eng",
    "trace_id": "abc-123-def"
  },
  "body": {
    "service": "catalog-api",
    "latency_ms": 245,
    "status_code": 200,
    "path": "/api/v1/services"
  }
}

2.5 组件间通信的可靠性保障