2. ftrace基础：ftrace架构与核心概念（tracer、tracepoint、ring buffer）
ftrace（Function Tracer）是Linux内核内置的跟踪框架，专为性能分析和调试设计。理解其架构与核心概念是使用ftrace排查DMA与驱动瓶颈的前提。本章从整体架构出发，逐一剖析tracer、tracepoint和ring buffer三大支柱。
2.1 ftrace整体架构
ftrace采用分层设计，从上到下依次为：用户接口层、核心框架层、数据采集层和内核插桩层。各层职责清晰，协同完成从事件采集到数据输出的全过程。
架构要点： ftrace不依赖外部工具，完全以内核模块和tracefs文件系统形式存在，挂载点通常为
/sys/kernel/tracing（旧版本为 /debug/tracing）。
2.2 三大核心概念详解
2.2.1 Tracer（跟踪器）
Tracer是ftrace中定义“如何采集数据”的引擎。每个tracer对应一种特定的数据采集策略。ftrace内置多种tracer，按用途可分为以下几类：
| 类别 | Tracer名称 | 功能描述 | 典型场景 |
|---|---|---|---|
| 函数跟踪 | function | 记录每个内核函数的调用入口 | 驱动调用路径分析 |
| 函数图跟踪 | function_graph | 记录函数调用链与执行时长 | DMA中断处理耗时分析 |
| 调度跟踪 | sched_switch | 记录进程切换事件 | 中断上下文抢占分析 |
| 唤醒跟踪 | wakeup / wakeup_rt | 记录进程唤醒延迟 | DMA完成中断响应延迟 |
| 硬件延迟 | irqsoff / preemptoff | 记录关中断/关抢占最大时长 | 驱动临界区延迟排查 |
| 分支跟踪 | branch | 记录内核条件分支命中率 | 驱动热路径优化 |
实战提示： 排查DMA中断负载时，
function_graph 是最常用的tracer，它能清晰展示中断处理函数（如 dma_irq_handler）内部的子函数调用耗时。
2.2.2 Tracepoint（跟踪点）
Tracepoint是内核源代码中预定义的静态插桩点，用于在关键事件发生时触发回调。与kprobe动态插桩不同，tracepoint在编译时固定，性能开销极低（仅一个条件判断）。
与DMA/驱动性能相关的关键tracepoint子系统包括：
- irq子系统：
irq_handler_entry、irq_handler_exit—— 记录中断处理开始/结束及耗时。 - dma子系统：
dma_complete、dma_alloc、dma_map—— 跟踪DMA传输完成、内存映射等事件。 - workqueue子系统：
workqueue_execute_start、workqueue_execute_end—— 跟踪驱动工作队列执行。 - timer子系统：
timer_expire_entry、timer_expire_exit—— 跟踪定时器回调，常用于DMA超时检测。 - block子系统：
block_rq_complete—— 跟踪块设备请求完成，与DMA传输关联。
2.2.3 Ring Buffer（环形缓冲区）
Ring Buffer是ftrace的数据存储核心，采用无锁环形队列设计，确保在中断上下文和NMI（不可屏蔽中断）中也能安全写入。其关键特性如下：
| 特性 | 说明 | 对DMA排查的意义 |
|---|---|---|
| 无锁写入 | 使用原子操作维护写指针，避免自旋锁 | 不影响中断响应延迟 |
| 每CPU缓冲区 | 每个CPU独立分配ring buffer，避免缓存行 bouncing | 多核DMA中断隔离分析 |
| 覆盖模式 | 缓冲区满时自动覆盖最旧数据（默认） | 持续跟踪最新中断事件 |
| 快照模式 | 触发条件满足时冻结缓冲区，保留历史 | 捕获罕见DMA超时现场 |
| 子缓冲区 | ring buffer划分为多个子缓冲区（sub-buffer） | 支持逐页读取，减少用户态拷贝 |
性能警告： ring buffer大小直接影响采集精度。设置过小（如 < 1MB）会导致高频DMA中断事件被覆盖丢失；设置过大（如 > 100MB）会占用大量内存。建议从
buffer_size_kb 默认值开始，逐步调整。
2.3 三者协作关系
Tracer、Tracepoint、Ring Buffer三者并非独立工作，而是形成完整的数据管道：
- 配置阶段： 用户通过tracefs选择tracer（如
echo function_graph > current_tracer），并启用目标tracepoint（如echo 1 > events/irq/irq_handler_entry/enable）。 - 采集阶段： 内核事件发生时，tracepoint触发回调，tracer根据策略决定是否记录，将格式化后的事件写入ring buffer。
- 输出阶段： 用户通过
cat trace或trace-cmd show从ring buffer中读取数据，或通过trace_pipe实时流式输出。
关键命令速查：
# 挂载 tracefs
mount -t tracefs tracefs /sys/kernel/tracing
# 查看可用 tracer
cat /sys/kernel/tracing/available_tracers
# 查看可用 tracepoint
cat /sys/kernel/tracing/available_events
# 设置 tracer 为 function_graph
echo function_graph > /sys/kernel/tracing/current_tracer
# 启用 irq_handler_entry tracepoint
echo 1 > /sys/kernel/tracing/events/irq/irq_handler_entry/enable
# 查看跟踪结果
cat /sys/kernel/tracing/trace2.4 与DMA性能排查的关联
在DMA性能瓶颈与驱动排查场景中，ftrace三要素的配合方式如下：
| 排查目标 | 使用的Tracer | 关键Tracepoint | Ring Buffer关注点 |
|---|---|---|---|
| DMA中断响应延迟 | function_graph | irq_handler_entry/exit | 中断处理函数执行时长 |
| DMA传输完成延迟 | wakeup_rt | dma_complete, sched_wakeup | 从DMA完成到进程唤醒的时间差 |
| 驱动临界区过长 | irqsoff | preemptirqsoff | 关中断最大时长及调用栈 |
| DMA内存映射耗时 | function | dma_map, dma_unmap | 映射函数调用频率与耗时 |
| 工作队列堆积 | function_graph | workqueue_execute_start/end | 工作队列执行队列深度 |
最佳实践： 初次排查时，建议先使用
function_graph tracer配合 irq_handler_entry/exit tracepoint，快速定位中断处理函数的热点。后续再根据初步结果，切换到更精细的tracer和tracepoint进行深入分析。