3. 日志采集层：Filelog Receiver 配置详解

在 OpenTelemetry Collector 的日志采集架构中，Filelog Receiver 是负责从文件系统读取日志数据的核心组件。它支持从容器标准输出（stdout/stderr）和普通日志文件尾部实时采集，是云原生日志平台的第一道入口。

3.1 Filelog Receiver 工作原理

Filelog Receiver 基于 opentelemetry-log-collection 库实现，采用“文件指纹 + 偏移量”机制确保日志不重不漏。其核心流程如下：

1. 文件发现：通过 glob 模式匹配日志文件路径，支持动态发现新文件。
2. 指纹识别：读取文件头部内容生成唯一指纹，用于区分文件重命名或轮转。
3. 偏移量管理：记录当前读取位置（offset），支持持久化到文件，重启后断点续采。
4. 多行聚合：支持根据正则表达式合并多行日志（如 Java 异常栈）。
5. 日志解析：将原始文本转换为结构化日志记录，添加时间戳、文件路径等元数据。

3.2 容器标准输出日志采集

在 Kubernetes 环境中，容器标准输出日志由容器运行时写入宿主机的特定路径。Filelog Receiver 通过读取这些文件实现采集。

3.2.1 标准输出日志路径

3.2.2 配置示例

receivers:
  filelog/stdout:
    include:
      - /var/log/pods/*/*/*.log
    exclude:
      - /var/log/pods/kube-system/*/*.log
    start_at: beginning
    include_file_name: false
    include_file_path: true
    operators:
      - type: container
        id: container-parser
      - type: regex_parser
        id: cri-parser
        regex: '^(?P<time>\S+) (?P<stream>stdout|stderr) (?P<log>.*)$'
        timestamp:
          parse_from: attributes.time
          layout: '%Y-%m-%dT%H:%M:%S.%L%z'
        severity:
          parse_from: attributes.stream
          mapping:
            error: stderr
            info: stdout

3.3 文件尾部日志采集

对于应用写入固定路径的日志文件（如 /var/log/app/*.log），Filelog Receiver 支持从文件尾部实时跟踪新写入内容。

3.3.1 配置示例

receivers:
  filelog/app:
    include:
      - /var/log/app/*.log
    exclude:
      - /var/log/app/*.gz
    start_at: end
    poll_interval: 200ms
    max_log_size: 10MiB
    encoding: utf-8
    operators:
      - type: regex_parser
        id: app-parser
        regex: '^(?P<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}) \[(?P<level>\w+)\] (?P<message>.*)$'
        timestamp:
          parse_from: attributes.timestamp
          layout: '%Y-%m-%d %H:%M:%S,%L'
        severity:
          parse_from: attributes.level
          mapping:
            error: error
            warn: warn
            info: info
            debug: debug

3.4 关键参数对比

3.5 多行日志聚合配置

对于跨多行的日志（如 Java 异常栈、Python traceback），需要配置多行聚合规则，避免将一条日志拆分为多条记录。

receivers:
  filelog/java:
    include:
      - /var/log/app/java-app.log
    start_at: beginning
    operators:
      - type: regex_parser
        id: multiline
        multiline:
          line_start_pattern: '^\d{4}-\d{2}-\d{2}'
        regex: '^(?P<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}) (?P<level>\w+) (?P<logger>\S+) (?P<message>[\s\S]*)'

3.6 文件轮转处理机制

Filelog Receiver 通过指纹和 inode 双重机制处理日志文件轮转（log rotation）：

• 重命名轮转：文件被重命名（如 app.log → app.log.1），Receiver 通过指纹识别继续读取原文件内容，同时发现新创建的 app.log 并开始跟踪。
• 复制截断轮转：文件被复制后清空（如 logrotate copytruncate），Receiver 检测到文件大小减小或 inode 变化，重新从头部读取。
• 删除重建轮转：旧文件被删除，新文件创建，Receiver 自动切换到新文件。

3.7 性能与可靠性建议