4. 可靠性工程基础

在自动驾驶模型部署中，可靠性不是“模型精度高”的同义词，而是系统在真实道路环境、长时间运行和复杂软硬件耦合条件下，持续提供正确、安全服务的能力。可靠性工程的核心任务，是把“不出问题”的愿望转化为可定义、可度量、可设计、可验证的工程活动。对于自动驾驶模型部署而言，可靠性既涉及模型推理服务本身，也涉及传感器输入、计算平台、通信链路、运行时调度和降级策略。

一、可靠性的定义与边界

可靠性通常定义为：产品在规定条件下和规定时间内，完成规定功能的能力。这个定义包含三个关键约束：规定条件、规定时间、规定功能。放到自动驾驶模型部署场景中，规定条件包括温度、振动、供电、网络带宽、算力占用和道路场景分布；规定时间可能是单次行程、连续运行 8 小时或整车生命周期；规定功能则包括目标检测、车道线识别、轨迹预测、规划控制输出等。

需要区分几个相近概念：可靠性强调“少失效”，可用性强调“可服务时间比例”，安全性强调“失效不导致不可接受风险”，鲁棒性强调“面对扰动仍保持性能”。自动驾驶模型部署往往同时追求四者，但设计手段不同。例如，模型量化可以提升推理速度，却可能降低对长尾场景的鲁棒性；冗余推理可以提高安全性，却增加资源消耗和时延。

二、常用可靠性指标与参数关系

可靠性工程用一组量化指标描述失效规律。最常用的是可靠度 R(t)、失效概率 F(t)、失效密度 f(t)、失效率 λ(t) 和平均无故障时间 MTBF。对于不可修复或一次性任务，常用成功率；对于可修复系统，常用 MTBF 和可用性 A。自动驾驶模型部署中，还需要关注推理时延 P99、超时率、降级触发率、误检/漏检率和故障恢复时间 MTTR。

这些指标之间存在耦合关系。提高冗余度通常提升可靠度，但可能增加时延和成本；降低模型复杂度可改善时延，却可能降低准确率和鲁棒性。因此，可靠性设计不是单一指标最大化，而是在任务剖面约束下做多目标权衡。

三、故障模式、失效分析与根因定位

故障模式是系统失效的外在表现，失效分析则是从现象追溯到根因的过程。自动驾驶模型部署中，常见故障模式包括：推理超时、进程崩溃、内存泄漏、GPU 利用率异常、模型输出置信度骤降、传感器时间戳不同步、通信丢包、降级策略误触发等。这些模式往往不是孤立的，而是沿着“传感器—预处理—推理—后处理—规划控制”链路传播。

失效分析常用 FMEA（失效模式与影响分析）和 FTA（故障树分析）。FMEA 自底向上，列出每个部件的失效模式、影响和检测手段；FTA 自顶向下，从顶事件出发，用逻辑门分解出基本事件。对于模型部署，建议把 FMEA 与运行时监控结合：每个故障模式都要有对应的检测信号、阈值和处置动作。

# 推理服务健康检查配置示例
health_check:
  interval_ms: 500
  timeout_ms: 200
  checks:
    - name: gpu_memory
      threshold_mb: 6144
      action: reject_new_request
    - name: inference_latency_p99
      threshold_ms: 120
      action: switch_to_light_model
    - name: output_confidence
      threshold: 0.35
      action: trigger_degraded_mode
  watchdog:
    enabled: true
    max_missed_heartbeats: 3
    restart_policy: graceful

根因定位要避免“把现象当原因”。例如，推理超时可能不是模型本身慢，而是内存带宽被其他进程抢占；误检率上升可能不是模型退化，而是相机标定漂移或时间同步错误。有效做法是建立“故障模式—检测信号—根因假设—验证实验”的闭环，并保留足够的运行时日志和中间张量统计。

四、可靠性设计原则与常用方法

可靠性设计应遵循以下原则：第一，预防优先，通过冗余、隔离、限流和资源预留降低失效概率；第二，容错设计，允许局部失效但不影响整体安全功能；第三，可观测性，任何关键状态都要可采集、可告警、可追溯；第四，降级有序，明确降级触发条件、降级后功能和恢复条件；第五，验证充分，用故障注入和长尾场景测试暴露薄弱环节。

• 冗余设计：双模型热备、双通道传感器、主备推理节点，配合心跳和仲裁机制。
• 隔离设计：推理进程与规划控制进程资源隔离，避免单点崩溃扩散。
• 限流与背压：当队列积压超过阈值时主动丢弃低优先级请求，保证关键帧推理。
• 看门狗与自恢复：检测心跳丢失、超时和异常退出，自动重启或切换模型。
• 故障注入：模拟延迟、丢包、内存不足、模型输出异常，验证降级路径是否有效。
• 可靠性增长测试：通过长时间运行、温度循环和场景回放，统计 MTBF 和失效分布。

五、案例与常见误区

某项目在夜间高速场景中出现偶发漏检，最初怀疑模型精度不足，反复训练后仍复现。通过失效分析发现，根因是相机自动曝光在隧道出口产生短暂过曝，导致输入分布偏移，模型置信度整体下降，但降级策略未触发。改进措施包括：增加输入质量检测、设置置信度阈值联动降级、在隧道场景中加入曝光扰动训练数据。最终漏检率显著下降，且系统在异常输入下能主动切换到保守策略。

常见误区有三类：一是只关注模型精度，忽略运行时资源、时延和降级路径；二是把 MTBF 当作唯一目标，忽视 MTTR 和可用性；三是故障注入只做一次，未纳入持续集成。可靠性工程是持续过程，需要把指标、故障模式、失效分析和设计改进串成闭环，并在每次版本迭代中重新验证。

综上，可靠性工程基础为自动驾驶模型部署提供了从定义、度量到设计、验证的完整框架。掌握可靠性指标、故障模式、失效分析和设计原则，才能在模型精度、时延、资源与安全之间做出可解释、可验证的工程权衡。