4. 硬件平台与测量环境搭建：选择合适的硬件、配置内核参数、使用 perf/ftrace/eBPF 工具

DMA 延迟测量的准确性高度依赖硬件平台的选择与内核环境的配置。本章将指导你搭建一套可复现、低噪声的测量环境，涵盖 PCIe/NVMe/网络卡选型、内核参数调优以及 perf/ftrace/eBPF 三大工具链的部署与验证。

4.1 硬件平台选型：PCIe / NVMe / 网络卡

不同硬件对 DMA 延迟的贡献差异显著。下表列出三类典型设备的选型要点与推荐型号。

4.1.1 硬件拓扑与 DMA 路径

下图展示典型 DMA 写操作从设备到内存的路径，以及各环节的延迟贡献点。

4.2 内核参数配置：降低测量噪声

默认内核参数会引入大量调度与中断噪声。以下配置专为 DMA 延迟测量优化，建议写入 /etc/sysctl.d/90-dma-latency.conf 并执行 sysctl -p。

# 关闭透明大页，减少 TLB 抖动
vm.nr_hugepages = 1024
vm.hugetlb_shm_group = 0
kernel.numa_balancing = 0

# 隔离 CPU 核心（假设隔离 core 2-5）
isolcpus=2-5 nohz_full=2-5 rcu_nocbs=2-5

# 降低中断合并延迟
net.core.netdev_budget = 600
net.core.netdev_budget_usecs = 4000

# 强制使用 MSI-X 中断，避免共享中断
pci=noacpi,realloc

# 关闭动态时钟，减少调度延迟
clocksource=tsc tsc=reliable

4.2.1 关键参数说明

4.3 测量工具链：perf / ftrace / eBPF

三种工具覆盖不同粒度的 DMA 延迟观测需求。下表对比其适用场景与开销。

4.3.1 perf：测量 DMA 完成延迟分布

使用 perf record 捕获 DMA 完成中断的 tracepoint，并生成延迟直方图。

# 记录 NVMe 完成中断延迟（采样 10 秒）
perf record -e nvme:nvme_complete_rq -a -g -- sleep 10

# 生成延迟分布报告
perf report --stdio --sort=overhead,sym

# 使用 perf script 输出原始时间戳
perf script -F time,event,trace | awk '{print $1, $3}'

4.3.2 ftrace：追踪 DMA 回调函数

ftrace 可精确测量从 DMA 完成中断触发到驱动回调执行完毕的耗时。

# 设置 ftrace 追踪器为 function_graph
echo function_graph > /sys/kernel/debug/tracing/current_tracer

# 只追踪 NVMe 驱动相关函数
echo nvme_irq > /sys/kernel/debug/tracing/set_ftrace_filter
echo nvme_process_cq > /sys/kernel/debug/tracing/set_ftrace_filter

# 开始追踪
echo 1 > /sys/kernel/debug/tracing/tracing_on
# 执行 DMA 负载（如 fio）
fio --name=test --ioengine=libaio --rw=randread --bs=4k --size=1G --runtime=10
echo 0 > /sys/kernel/debug/tracing/tracing_on

# 查看追踪结果
cat /sys/kernel/debug/tracing/trace | head -50

4.3.3 eBPF：实时聚合 DMA 延迟直方图

eBPF 程序可挂载到 DMA 完成 tracepoint，在内核中直接计算延迟直方图，避免用户态数据拷贝开销。

#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>

struct {
    __uint(type, BPF_MAP_TYPE_HISTOGRAM);
    __uint(max_entries, 64);
    __type(key, u32);
    __type(value, u64);
} dma_latency_hist SEC(".maps");

SEC("tracepoint/nvme/nvme_complete_rq")
int trace_nvme_complete(struct trace_event_raw_nvme_complete_rq *ctx)
{
    u64 now = bpf_ktime_get_ns();
    u64 start = ctx->start_time_ns;
    u64 delta = (now - start) / 1000; // 转为微秒

    u32 slot = delta / 10; // 每 10μs 一个桶
    if (slot > 63) slot = 63;
    bpf_map_lookup_and_delete(&dma_latency_hist, &slot);
    return 0;
}

char LICENSE[] SEC("license") = "GPL";

4.4 环境验证与基线测量

完成硬件与内核配置后，执行以下步骤验证环境是否就绪。

1. 检查 PCIe 链路状态：lspci -vvv -s 01:00.0 | grep -E "LnkSta|DevSta"，确认速度与宽度符合预期。
2. 验证 CPU 隔离：taskset -c 2 stress-ng --cpu 1 --timeout 5，观察是否只有隔离核心被使用。
3. 测量基线 DMA 延迟：使用 perf stat -e dma:dma_complete 运行空负载 10 秒，记录背景中断频率。
4. 确认工具可用性：perf list | grep dma 应列出至少 3 个 DMA 相关 tracepoint。

4.4.1 环境验证流程图

4.5 常见问题与排查

• perf 无法捕获 DMA 事件：确认内核编译选项 CONFIG_DMA_API_DEBUG 未开启，该选项会屏蔽部分 tracepoint。
• ftrace 输出为空：检查 /sys/kernel/debug/tracing/set_event 是否包含 dma:*，并确保以 root 运行。
• eBPF 加载失败：使用 bpftool feature probe 检查内核是否支持 tracepoint 和 raw_tracepoint。
• 测量结果波动大：检查是否仍有其他进程运行在隔离 CPU 上，使用 ps -eo pid,psr,comm | grep "^ *[2-5]" 确认。