3. Exporter 异常场景分析：进程崩溃、端口不可达、指标数据延迟、OOM、配置错误

在生产环境中，Exporter 作为可观测性数据采集的第一跳，其稳定性直接影响监控覆盖率与告警时效性。本章系统梳理五种最常见的 Exporter 异常模式，分析其根因、表象与影响，为后续自愈剧本设计提供故障模型基础。

3.1 异常场景总览

根据社区故障统计与一线 SRE 实战复盘，Exporter 异常可归纳为以下五大类，覆盖从进程级到数据语义级的全链路故障。

3.2 进程崩溃

进程崩溃是 Exporter 最直接的故障形态，表现为采集目标突然无响应，Prometheus 上报 up == 0。常见原因包括：

• 代码缺陷： 未捕获的 panic、空指针引用、除零错误。
• 依赖异常： 底层库版本不兼容、动态链接库缺失。
• 信号中断： 父进程退出导致孤儿进程被回收、SIGKILL 误杀。
• 资源耗尽： 文件描述符达到上限、goroutine 泄漏导致调度阻塞。

# 进程崩溃检测脚本示例（Go 实现思路）
func checkExporterHealth(pid int) bool {
    process, err := os.FindProcess(pid)
    if err != nil {
        return false
    }
    // 发送信号 0 检测进程是否存在
    err = process.Signal(syscall.Signal(0))
    return err == nil
}

3.3 端口不可达

端口不可达意味着 Exporter 进程虽在运行，但无法建立 TCP 连接。该场景常被误判为进程崩溃，需通过分层探测区分。

• 本地探测： ss -tlnp | grep :9100 检查端口监听状态。
• 远程探测： nc -zv target 9100 验证网络连通性。
• 中间件阻断： iptables、安全组、服务网格 sidecar 策略变更。

3.4 指标数据延迟

指标数据延迟是“静默故障”的典型代表——Exporter 进程正常、端口可达，但返回的指标时间戳严重滞后，导致 Prometheus 记录陈旧数据，影响告警准确性。

• 采集超时： Exporter 依赖的上游 API 响应缓慢，超过 Prometheus scrape_timeout 默认 10s。
• 时间戳偏移： 容器或虚拟机系统时间不同步，Exporter 使用本地时间生成指标。
• 数据积压： 高基数场景下 Exporter 内部缓存队列溢出，丢弃旧数据。

# Prometheus 中检测指标延迟的 PromQL
# 返回 scrape 时间戳与当前时间的差值（秒）
time() - up{job="node_exporter"} * 0 + node_time_seconds{job="node_exporter"}

3.5 OOM（内存溢出）

OOM 是 Exporter 在生产环境中被 kill 的首要原因，尤其在指标基数爆炸或配置不当的场景下。OOM 通常伴随进程崩溃，但根因不同，自愈策略也有差异。

• 指标基数膨胀： 标签组合过多（如 pod、container、namespace 全量暴露），导致内存占用飙升。
• 内存泄漏： 长连接未关闭、goroutine 持续增长、缓存未清理。
• 配置过大： --collector.disable-defaults 未启用，加载了不必要的 collector。

# 查看 OOM Killer 日志
journalctl -k | grep -i "oom-killer" | grep "exporter"

# 典型输出示例
# [ pid ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
# [ 1234]     0  1234   456789    234567   1234567       0             0 exporter

3.6 配置错误

配置错误是变更导致的人因故障，常见于 Exporter 版本升级、采集路径调整或认证信息轮转后。配置错误不会立即触发 OOM 或崩溃，但会导致指标采集失败或数据错误。

• 语法错误： YAML/JSON 格式错误、缩进问题、字段拼写错误。
• 路径变更： 采集文件路径被移动或删除，Exporter 仍引用旧路径。
• 认证失效： API 过期、证书过期、Basic Auth 密码变更。

# 配置校验示例（Python）
import yaml

def validate_exporter_config(config_path):
    try:
        with open(config_path, 'r') as f:
            config = yaml.safe_load(f)
        # 检查必填字段
        assert 'modules' in config, "缺少 modules 字段"
        for module in config['modules']:
            assert 'metrics_path' in module, f"模块 {module} 缺少 metrics_path"
        return True
    except (yaml.YAMLError, AssertionError) as e:
        print(f"配置校验失败: {e}")
        return False

3.7 异常场景关联分析

五种异常并非孤立存在，实际故障中常出现连锁反应。例如：配置错误导致指标基数膨胀 → 内存占用飙升 → OOM → 进程崩溃 → 端口不可达。理解异常间的依赖关系，有助于设计更精准的自愈剧本。

3.8 异常检测优先级矩阵

基于故障影响范围与检测成本，SRE 团队应建立异常检测优先级矩阵，指导自愈剧本的触发顺序与资源分配。