4. 调试工具链概述：网关驱动调试工具全景图

网关驱动开发与性能优化中，单一调试手段往往无法覆盖所有场景。从硬件信号完整性到内核调度延迟，再到用户态应用瓶颈，需要一套分层、互补的调试工具链。本章全景图将工具按层级和介入方式划分为四类：硬件级、内核级、软件跟踪级与动态调试级，帮助开发者快速定位问题归属层。

4.1 硬件级调试工具

硬件调试工具直接操作芯片引脚、总线信号与寄存器状态，是解决驱动初始化失败、中断丢失、DMA 传输异常等底层问题的第一道防线。

4.2 内核级调试工具

当问题进入操作系统层面，硬件工具无法捕获内核调度、中断上下文切换、驱动函数调用栈等动态行为，此时需要内核级工具介入。

4.2.1 kgdb：内核源码级断点调试

kgdb 是 Linux 内核的远程 GDB 调试扩展，允许开发者像调试用户态程序一样设置断点、查看变量、单步执行内核代码。它通过串口或网络与宿主机 GDB 通信，适合分析驱动逻辑分支错误或死锁。

# 宿主机侧启动 kgdb 会话
gdb vmlinux
(gdb) target remote /dev/ttyUSB0
(gdb) b dwc_otg_hcd_init
(gdb) c
# 目标机侧触发内核进入 kgdb
echo g > /proc/sysrq-trigger

4.2.2 perf：性能计数器与采样分析

perf 基于硬件 PMU（性能监视单元）和内核 tracepoint，能够以极低开销统计 CPU 周期、缓存命中率、分支预测失败、中断分布等指标。对于网关驱动，重点关注 perf stat 和 perf record 两种模式。

# 统计网卡驱动中断与软中断开销
perf stat -e irq_vectors:irq_entry,irq_vectors:irq_exit,softirq:softirq_entry -a -- sleep 5

# 采样驱动函数调用热点
perf record -e cycles:k -a --call-graph dwarf -- sleep 10
perf report --sort comm,dso,symbol

4.2.3 ftrace：内核函数跟踪器

ftrace 是内核内置的轻量级跟踪框架，支持动态插桩，可记录任意内核函数的进入/退出、延迟、调用栈。调试驱动时常用 function_graph 跟踪器观察驱动函数的执行流与耗时。

# 设置 ftrace 跟踪驱动函数
echo function_graph > /sys/kernel/tracing/current_tracer
echo dwc_otg_* > /sys/kernel/tracing/set_ftrace_filter
echo 1 > /sys/kernel/tracing/tracing_on
# 复现问题后关闭跟踪
echo 0 > /sys/kernel/tracing/tracing_on
cat /sys/kernel/tracing/trace

4.3 软件跟踪级工具

当需要跨模块、跨进程甚至跨机器关联事件时，内核内置工具的记录能力有限。软件跟踪级工具提供结构化事件记录、用户态/内核态统一视图和离线分析能力。

• trace-cmd：ftrace 的前端封装，支持多 CPU 记录、事件过滤、二进制输出，适合长时间录制驱动行为。
• LTTng：低开销内核态与用户态统一跟踪器，支持自定义事件和 CTF 格式，适合复杂网关系统的端到端延迟分析。
• SystemTap：脚本化动态探针，可编写自定义探测点，适合在不重新编译内核的情况下注入调试逻辑。

4.4 动态调试级工具

动态调试工具允许在运行时开启/关闭特定打印或探针，无需重启系统或重新编译驱动，是生产环境问题定位的“最后一公里”。

# 动态开启 dwc_otg 驱动中所有 dev_dbg 打印
echo 'module dwc_otg +p' > /sys/kernel/debug/dynamic_debug/control

# 使用 kprobe 捕获 dwc_otg_irq_handler 的入参
echo 'p:dwc_irq dwc_otg_irq_handler irq_status=%x0' > /sys/kernel/debug/tracing/kprobe_events
echo 1 > /sys/kernel/debug/tracing/events/kprobes/dwc_irq/enable

4.5 工具选型决策矩阵

面对具体驱动性能问题时，可参考下表快速选择最合适的工具组合：