3. 证据收集方法论：证据类型、收集渠道与证据链完整性
在变更故障排查中，证据收集不是简单的“找日志”，而是一个结构化、可追溯、可复现的工程过程。本节从证据类型、收集渠道和证据链完整性三个维度，建立一套可操作的方法论框架。
3.1 证据类型：定量与定性
证据按性质分为定量证据和定性证据，两者在故障排查中互为补充。定量证据提供“发生了什么”，定性证据解释“为什么会发生”。
| 维度 | 定量证据 | 定性证据 |
|---|---|---|
| 定义 | 可测量、可计数的客观数据 | 描述性、解释性的主观或半主观信息 |
| 典型来源 | 监控指标、日志计数、性能计数器、SLA 达成率 | 访谈记录、操作者描述、变更评审意见、根因分析报告 |
| 优势 | 精确、可重复、适合趋势分析 | 提供上下文、揭示隐性因素、解释异常模式 |
| 局限 | 无法解释“为什么”，可能遗漏上下文 | 受主观偏差影响，难以直接量化 |
| 在变更排查中的角色 | 定位故障时间窗口、量化影响范围 | 还原操作顺序、识别人为失误或沟通断层 |
实践建议：在变更故障排查中，优先收集定量证据以锁定时间窗口和影响范围，再通过定性证据还原操作上下文。两者结合才能形成完整的证据画像。
3.2 收集渠道：日志、访谈与监控
证据收集渠道分为三大类，每类渠道对应不同的证据类型和采集方法。选择正确的渠道直接影响证据的完整性和可信度。
3.2.1 日志（Logs）
- 覆盖范围：系统日志、应用日志、变更操作日志、审计日志、数据库事务日志。
- 关键字段：时间戳、操作主体、操作对象、操作结果、错误码、堆栈信息。
- 采集方法：集中式日志平台（如 ELK、Splunk）、日志轮转归档、时间窗口过滤。
- 注意事项：日志时间同步（NTP）、日志级别配置、日志保留策略。
3.2.2 访谈（Interviews）
- 覆盖范围：变更执行人、审批人、运维值班人员、受影响业务方。
- 关键信息：操作步骤、决策依据、异常感知时间、沟通记录、操作前预期。
- 采集方法：结构化访谈、非结构化访谈、事后复盘会议记录。
- 注意事项：避免引导性问题、记录原始表述、区分事实与推测。
3.2.3 监控（Monitoring）
- 覆盖范围：基础设施监控（CPU、内存、磁盘、网络）、APM（应用性能监控）、业务指标监控、告警事件。
- 关键指标：响应时间、吞吐量、错误率、资源利用率、依赖服务状态。
- 采集方法：监控平台（Prometheus、Zabbix、Datadog）、仪表盘快照、告警历史查询。
- 注意事项：监控粒度（分钟级 vs 秒级）、基线对比、告警风暴过滤。
渠道选择矩阵：日志适合追溯精确操作序列，监控适合量化影响范围，访谈适合还原决策上下文。在变更故障排查中，三者应同时启动，避免单一渠道的盲区。
3.3 证据链完整性
证据链完整性是证据能否被采信的核心标准。在变更故障排查中，证据链必须满足连续性、一致性、可追溯性三个原则。
3.3.1 证据链完整性三原则
| 原则 | 定义 | 检查要点 | 常见断裂场景 |
|---|---|---|---|
| 连续性 | 证据在时间轴上无断点，覆盖变更前、变更中、变更后全周期 | 时间戳是否连续？是否存在时间窗口缺失？ | 变更执行期间日志采集暂停、监控数据回填失败 |
| 一致性 | 不同渠道的证据相互印证，无矛盾 | 日志时间与监控告警时间是否吻合？访谈描述与日志记录是否冲突？ | 操作者声称“未修改配置”，但日志显示配置变更操作 |
| 可追溯性 | 每一条证据都能追溯到原始来源，且采集过程可复现 | 证据来源是否明确？采集工具和参数是否记录？ | 日志被轮转覆盖、监控数据聚合后无法下钻 |
3.3.2 证据链构建步骤
- 确定时间基线：以变更执行时间窗口为中心，向前后各扩展一个合理范围（通常为变更前 30 分钟至变更后 2 小时）。
- 多源数据对齐：将日志、监控、访谈记录按统一时间轴排列，标注关键事件节点。
- 交叉验证：对每个关键事件，至少从两个独立渠道获取证据进行比对。
- 标注可信度：对每条证据标注来源、采集时间、采集人，并评估可信度（高/中/低）。
- 形成证据链报告：将证据按时间顺序组织，标注断裂点和矛盾点，供后续根因分析使用。
常见陷阱：仅依赖单一渠道证据（如只看日志不看监控）、忽略时间同步偏差（不同服务器时间差超过 5 秒可能导致证据链错位）、访谈记录未及时归档导致记忆偏差。证据链完整性检查应在证据收集阶段同步进行，而非事后补救。
3.4 证据收集的常见陷阱与应对
| 陷阱 | 表现 | 应对策略 |
|---|---|---|
| 确认偏误 | 只收集支持预设结论的证据，忽略矛盾信息 | 强制要求至少收集一条与当前假设矛盾的证据 |
| 证据污染 | 访谈时使用引导性问题，导致被访者提供不准确信息 | 使用开放式问题，先记录事实再追问解释 |
| 时间窗口错位 | 不同系统时间不同步，导致证据时间线混乱 | 收集前统一校准时间基准，记录各系统时间偏差 |
| 过度依赖单一渠道 | 仅凭日志或仅凭访谈就下结论 | 建立“三渠道验证”规则：至少两个独立渠道交叉确认 |
方法论总结：证据收集不是简单的“找东西”，而是有方法、有结构、有验证的工程过程。定量证据提供精度，定性证据提供深度；日志、访谈、监控三大渠道互为补充；证据链完整性是证据能否被采信的生命线。在变更故障排查中，证据收集的质量直接决定根因分析的效率和准确性。