4. Source参数配置（上）：数据源类型与连接基础

Source 是 Collector 管道的入口，决定了数据从何处、以何种方式进入处理流水线。本章聚焦 Source 层的核心参数：数据源类型、连接参数、认证方式、超时与重试策略。正确配置这些参数，是管道稳定运行的前提。

4.1 数据源类型概览

Collector 支持四种主流数据源类型，每种类型对应不同的采集场景和配置范式：

4.2 连接参数配置

连接参数是 Source 与外部系统建立通信的基础。不同数据源类型的连接参数差异显著，以下列出核心字段：

4.2.1 API 类型连接参数

• endpoint：API 基础 URL，例如 https://api.example.com/v2
• method：HTTP 方法，支持 GET / POST / PUT
• headers：自定义请求头，如 Content-Type、User-Agent
• query_params：查询参数键值对
• proxy：代理服务器地址（可选）

4.2.2 DB 类型连接参数

• connection_string：JDBC/ODBC 连接串，例如 jdbc:mysql://host:3306/db
• host / port / database：主机、端口、数据库名
• ssl_mode：SSL 模式（disable / prefer / require / verify-ca / verify-full）
• pool_size：连接池大小，默认 5

4.2.3 File 类型连接参数

• path：文件路径或通配符，如 /var/log/app/*.log
• encoding：文件编码，默认 UTF-8
• file_format：格式（text / csv / json / parquet）
• delimiter：分隔符（CSV 专用）

4.2.4 Stream 类型连接参数

• bootstrap_servers：Kafka 集群地址列表
• topic / queue：主题或队列名称
• group_id：消费者组 ID
• auto_offset_reset：偏移重置策略（earliest / latest / none）

4.3 认证方式

认证方式决定了 Source 如何安全地访问数据源。Collector 支持以下认证机制：

4.4 超时与重试策略

超时和重试是保障 Source 健壮性的关键参数。配置不当会导致管道阻塞或数据丢失。

4.4.1 超时参数

4.4.2 重试策略

重试策略采用指数退避 + 抖动算法，避免重试风暴：

# 重试策略配置示例
retry:
  max_attempts: 3
  initial_interval: 1s
  multiplier: 2.0
  max_interval: 30s
  jitter: 0.1
  retryable_codes: [429, 500, 502, 503, 504]

• max_attempts：最大重试次数，默认 3，建议不超过 5
• initial_interval：首次重试等待时间，默认 1s
• multiplier：退避倍数，默认 2.0
• max_interval：最大等待时间，默认 30s
• jitter：随机抖动因子（0~1），防止惊群效应
• retryable_codes：可重试的 HTTP 状态码或错误码

4.5 参数配置综合示例

以下是一个完整的 API 类型 Source 配置示例，涵盖连接、认证、超时和重试：

source:
  type: api
  name: "prometheus-metrics-source"
  endpoint: "https://prometheus.example.com/api/v1/query"
  method: GET
  headers:
    Content-Type: application/json
    Accept: application/json
  auth:
    type: oauth2
    client_id: "${CLIENT_ID}"
    client_secret: "${CLIENT_SECRET}"
    _url: "https://auth.example.com/oauth/"
    scopes: ["metrics:read"]
  timeout:
    connect_timeout: 10s
    read_timeout: 30s
    write_timeout: 15s
  retry:
    max_attempts: 3
    initial_interval: 1s
    multiplier: 2.0
    max_interval: 30s
    jitter: 0.1
    retryable_codes: [429, 500, 502, 503, 504]