1. Collector管道概述：平台工程自助目录中Collector的角色、管道架构、数据流与生命周期

1.1 Collector在平台工程自助目录中的核心角色

在平台工程自助目录（Self-Service Catalog）体系中，Collector 是连接基础设施资源与上层抽象目录的关键数据采集与同步组件。它负责从各类后端系统（云平台、容器编排引擎、配置管理数据库、API网关等）中拉取或监听资源状态，并将其转换为自助目录可理解的统一模型。

Collector 承担以下三大核心职责：

• 资源发现与注册：自动扫描目标环境中的计算、网络、存储、中间件等资源实例，将其元数据注册到自助目录的资产清单中。
• 状态同步与差异检测：按可配置的轮询间隔或通过事件驱动机制，持续对比实际资源状态与目录中记录的期望状态，生成差异报告。
• 管道数据供给：作为管道（Pipeline）的起始节点，将采集到的原始数据经过格式化、过滤、富化后，推送给下游的编排引擎或审批工作流。

1.2 Collector管道架构总览

Collector 管道采用生产者-处理器-消费者三层架构，各层职责明确，支持水平扩展与故障隔离。下图展示了管道内部的核心组件与数据流转路径。

1.3 数据流详细路径

一次完整的采集任务从触发到完成，经历以下六个阶段的数据流处理。每个阶段均可通过参数配置进行调优。

1.4 Collector生命周期管理

每个 Collector 实例从创建到销毁经历完整的生命周期状态机。理解各状态之间的转换条件，是进行管道参数调优和故障排查的基础。

生命周期各状态的关键说明：

• INITIALIZED：Collector 已完成配置加载与依赖检查，但尚未开始采集。此阶段可进行参数校验与预热。
• RUNNING：正常执行采集任务，持续处理数据流。管道吞吐量在此状态下达到峰值。
• PAUSED：暂停采集但不释放连接资源，适用于临时维护或限流场景。恢复时无需重新初始化。
• ERROR：因认证失败、连接超时、数据格式异常等原因进入错误状态。可配置自动重试策略（error.retry.count、error.backoff.ms）。
• TERMINATED：实例已销毁，所有资源已释放。此状态不可逆，需重新创建 Collector。

1.5 管道参数配置概览

Collector 管道的参数配置遵循分层覆盖原则：全局默认值 → 管道级别覆盖 → 任务级别覆盖。以下为最核心的配置分组：