第4章 常见Trace工具选择与安装：perf、ftrace、SystemTap、BPF/bcc、OpenTelemetry

4.1 现象识别：何时该用哪个工具？

在分析缓存耗时分布时，Trace工具的选择直接决定采集效率与数据质量。常见错误是“一把抓”——对内核态缓存抖动用SystemTap全量钩子，结果因内核锁竞争拖慢业务；或对分布式缓存未开OpenTelemetry跨度，导致链路缺失。以下是基于问题特征的快速判断矩阵：

4.2 数据采集：各工具安装要点

安装需注意内核头文件、权限、发行版差异。下表列出最简洁的安装步骤：

sudo apt install linux-tools-common linux-tools-$(uname -r)

perf --version

sudo mount -t debugfs none /sys/kernel/debug

ls /sys/kernel/debug/tracing

sudo apt install systemtap systemtap-runtime
sudo apt install linux-headers-$(uname -r)
sudo stap-prep

stap -e 'probe begin { printf("ok\n") exit() }'

sudo apt install bpfcc-tools linux-headers-$(uname -r)
# 或源码编译：
git clone https://github.com/iovisor/bcc.git; cd bcc; mkdir build; cmake ..; make; sudo make install

sudo opensnoop-bpfcc

wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/.../otelcol_linux_amd64.tar.gz
tar -xzf otelcol_*.tar.gz
sudo mv otelcol /usr/local/bin/

otelcol --version

ls /sys/kernel/debug/tracing

4.3 原因定位：安装失败的故障树

以下是安装过程中最常见故障点及排查规则：

• perf 版本不匹配：perf: not found 或 WARNING: perf not compiled with libunwind → 检查 linux-tools-$(uname -r) 是否准确存在，或安装 linux-tools-generic 回退版本。
• ftrace 目录权限：Permission denied → 确认 mount 挂载成功且当前用户在 sudo 组。
• SystemTap 内核头/符号缺失：Cannot find module /usr/lib/debug/lib/modules/... → 安装 linux-image-$(uname -r)-dbgsym。
• BPF/bcc 编译依赖：fatal error: bcc/bcc_common.h: No such file or directory → 未安装 libbpf-dev 或 bpfcc-dev。
• OpenTelemetry 收集器启动失败：cannot find config file → 确认配置路径或使用 --config 参数指定。

故障树结构如下（核心判断规则）：

sudo perf stat echo test

stap -p4 script.stp

sudo trace-bpfcc 'do_sys_open'

journalctl -u otelcol -f

4.4 修复动作：典型安装修复步骤

以下是最常见问题的修复命令（按工具分）：

1. perf 版本修复：

   # 若 linux-tools-$(uname -r) 无匹配，尝试：
   sudo apt install linux-tools-generic
   # 或手动指定版本：
   sudo apt install linux-tools-5.15.0-91-generic

2. ftrace 挂载失败：

   # 确保内核支持 (CONFIG_DEBUG_FS=y)
   sudo mount -t debugfs none /sys/kernel/debug
   # 若启动时自动挂载，添加 /etc/fstab 行：
   echo "none /sys/kernel/debug debugfs defaults 0 0" | sudo tee -a /etc/fstab

3. SystemTap 调试符号：

   # Ubuntu 安装 dbgsym：
   sudo apt install linux-image-$(uname -r)-dbgsym
   # 若 repo 无此包，手动下载：
   wget http://ddebs.ubuntu.com/pool/main/l/linux/linux-image-...dbgsym.deb
   sudo dpkg -i *.deb

4. BPF/bcc 编译：

   # 先安装完整依赖：
   sudo apt install bison flex libelf-dev cmake python3-pip
   # bcc 源码构建：
   git clone https://github.com/iovisor/bcc.git
   cd bcc
   mkdir build && cd build
   cmake ..
   make -j$(nproc)
   sudo make install

5. OpenTelemetry 配置：

   # 创建最小配置 /etc/otelcol/config.yaml：
   receivers:
     otlp:
       protocols:
         grpc:
   exporters:
     logging:
       loglevel: debug
   service:
     pipelines:
       traces:
         receivers: [otlp]
         exporters: [logging]
   # 启动：
   sudo otelcol --config /etc/otelcol/config.yaml

4.5 复测：验证工具可用性

每个工具安装后必须执行一条简单的Trace命令确认可用：

• perf：

  sudo perf stat -e cache-misses,cache-references sleep 1

  应输出计数器数值。
• ftrace：

  sudo echo 1 > /sys/kernel/debug/tracing/tracing_on; sleep 0.1; sudo cat /sys/kernel/debug/tracing/trace_pipe

  应看到内核跟踪行。
• SystemTap：

  sudo stap -v -e 'probe kernel.function("kmem_cache_alloc") { printf("alloc\n") exit() }'

  输出 "alloc" 非错误。
• BPF/bcc：

  sudo execsnoop-bpfcc

  几秒后 Ctrl+C，应显示进程执行记录。
• OpenTelemetry：

  sudo otelcol --config=/etc/otelcol/config.yaml --dry-run

  输出配置解析成功。

若任意一步报错，返回第4.3节故障树再次定位。

4.6 预防：工具管理最佳实践

避免每次安装再重复出问题，建立以下清单：

1. 版本锁定： 在项目根目录维护 tools-requirements.txt，记录内核版本与工具版本的对应关系。
2. 自动化安装： 写一个脚本，如 install_trace_tools.sh，包含所有工具的安装命令并做兼容性检查。
3. 内核头文件持续同步： 内核更新后立刻运行 sudo apt update && sudo apt upgrade 并重新安装 linux-headers。
4. 权限限制： 生产环境使用指定用户（如 traceuser）运行工具，并使用 sudoers 限制命令白名单。
5. 定期验证： 每日 cron 执行复测命令，通知异常。

4.7 附录：决策流程图

下图总结了从现象到工具选择的快速决策路径，安装前先跑一遍流程，避免走弯路。