3. 数据采集与日志获取

数据采集是异常排查的“第一现场”，日志获取的完整性与时效性直接决定问题定位的精度。本章围绕数据源类型、日志存储位置、查询工具使用、采样策略与完整性检查五个核心环节，建立从现象识别到预防闭环的排查路径。

3.1 现象识别：采集层异常的信号

数据采集层的异常通常表现为以下四类现象，排查时应首先对照症状缩小范围：

3.2 数据采集：数据源类型与日志存储定位

3.2.1 数据源类型对比

不同数据源类型对应不同的采集策略和异常模式，识别数据源类型是选择排查工具的前提：

3.2.2 日志存储位置与路径规约

生产环境中日志通常分散在多个存储层，快速定位日志存储位置是排查的关键一步：

# 本地磁盘日志轮转异常排查示例
ls -la /var/log/app/ | head -20
# 检查日志文件大小与修改时间，确认轮转是否正常
# 若发现 .gz 归档文件时间戳跳跃超过轮转周期，说明轮转策略可能配置错误

# HDFS 日志完整性快速检查
hdfs dfs -count /data/logs/app/

3.3 查询工具使用：从命令行到可视化平台

选择合适的查询工具能大幅缩短排查时间。以下为四类常用工具的适用场景与核心语法：

# 多条件组合排查示例（定位高频超时接口）
grep -E "2025-01-15T14:([5-5][0-9]|6[0-0])" app.log \
  | grep -i "timeout" \
  | awk '{print $NF}' \
  | sort | uniq -c | sort -rn | head -10

# 该命令在 14:50-15:00 时间窗口内过滤 timeout 日志，统计高频超时接口

3.4 采样策略与完整性检查

3.4.1 采样策略

在数据量级较大或需要快速定位时，合理的采样策略能平衡排查效率与准确性：

3.4.2 完整性检查

完整性检查是数据采集质量的“守门员”，以下四种方法应组合使用：

# 行数校验快速命令
echo "源端行数: $(ssh source-node 'wc -l < /data/logs/app/access.log')"
echo "采集端行数: $(wc -l < /data/logs/collected/access.log)"

# 时间连续性检查（Python 片段示意）
# awk '{print $1}' access.log | sort | uniq -c | awk '$1 > 1 {print "重复时间戳:" $2}'

3.5 原因定位：采集链路故障树

基于上述排查路径，将常见根因归纳为故障树结构，便于快速对照：

3.6 修复动作与复测

3.6.1 修复动作对照表