4. Cyclictest工具介绍
Cyclictest 是实时 Linux 系统中最权威、使用最广泛的延迟测量工具，由 Thomas Gleixner 等人维护，是 rt-tests 测试套件的核心组件。它通过高精度定时器周期性地触发测量线程，精确记录定时器预期触发时间与实际触发时间之间的差值，从而量化内核的调度延迟和中断响应能力。
4.1 核心功能
- 周期性延迟测量：以固定间隔（如 1000 μs）触发测量线程，记录每次的唤醒延迟。
- 多线程并行测试：支持创建多个测量线程，可绑定到不同 CPU 核心，模拟多任务并发场景。
- 优先级与调度策略控制：支持设置 SCHED_FIFO / SCHED_RR / SCHED_OTHER 策略及实时优先级（1-99）。
- 时钟源选择：支持 clock_monotonic、clock_realtime 等时钟源，默认使用 clock_monotonic。
- 直方图与统计输出：运行结束后输出延迟分布直方图、最小/最大/平均延迟及抖动统计。
- 后台运行与日志记录：支持 -b 选项在检测到指定延迟阈值时触发系统命令（如记录内核回溯）。
实践提示：Cyclictest 本身不修改内核行为，只做被动测量。测量结果直接反映当前内核的实时性能基线，是调优前后对比的核心依据。
4.2 工作原理
Cyclictest 的核心测量循环基于 高精度定时器（hrtimer） 和 nanosleep 系统调用。其基本流程如下：
- 测量线程调用
clock_nanosleep()或nanosleep()，请求在t_expected_next时刻唤醒。 - 内核在指定时间到期后，将线程放入就绪队列，等待调度器选择运行。
- 线程实际获得 CPU 时，读取当前时间
t_actual。 - 计算延迟：
latency = t_actual - t_expected_next。 - 更新统计量（最小、最大、平均、直方图桶计数）。
- 计算下一次预期触发时间：
t_expected_next += interval，回到步骤 1。
关键理解：延迟 = 实际唤醒时间 - 预期唤醒时间。延迟值越大，说明从定时器到期到线程真正获得 CPU 的时间越长，实时性越差。延迟的来源包括：中断关闭、中断处理、调度器开销、缓存缺失、电源管理状态切换等。
4.3 测量指标
Cyclictest 输出以下核心指标，用于量化系统实时性能：
| 指标 | 定义 | 单位 | 工程意义 |
|---|---|---|---|
| 最小延迟 (Min) | 整个测试周期中记录到的最小延迟值 | μs | 反映系统在最佳条件下的响应能力，通常接近 0 |
| 最大延迟 (Max) | 整个测试周期中记录到的最大延迟值 | μs | 最关键的实时指标，决定系统能否满足硬实时截止时间 |
| 平均延迟 (Avg) | 所有采样点延迟的算术平均值 | μs | 反映系统整体实时性能水平，用于对比不同配置 |
| 抖动 (Jitter) | 延迟值的标准差或 Max - Min | μs | 衡量延迟的稳定性，抖动越小，行为越可预测 |
调优关注点：在工业实时控制中，最大延迟 是最重要的指标。即使平均延迟很低，如果最大延迟偶尔超过任务截止时间，系统仍可能发生故障。抖动则反映了系统的可预测性，对音视频同步等场景尤为关键。
4.4 安装方法
Cyclictest 包含在 rt-tests 软件包中。以下是主流 Linux 发行版的安装方式：
| 发行版 | 安装命令 | 备注 |
|---|---|---|
| Debian / Ubuntu | sudo apt install rt-tests |
默认仓库包含，版本较稳定 |
| Fedora / RHEL / CentOS | sudo dnf install rt-tests |
EPEL 仓库可能需额外启用 |
| openSUSE | sudo zypper install rt-tests |
默认仓库包含 |
| Arch Linux | sudo pacman -S rt-tests |
AUR 中也有最新版本 |
| 源码编译（推荐） |
|
获取最新特性与修复，可自定义编译选项 |
编译建议：源码编译时，可通过
make NUMA=0 禁用 NUMA 支持（适用于非 NUMA 系统），或通过 make CC=clang 使用 Clang 编译器。编译前确保已安装 libnuma-dev、libaio-dev 等依赖。
4.5 基本用法示例
安装完成后，可通过以下命令快速验证 Cyclictest 的基本功能：
# 最简单的测试：1个线程，间隔1000μs，运行60秒
cyclictest -l 60000 -m -n -p 99 -i 1000
# 参数说明：
# -l 60000 : 循环次数（60秒 × 1000次/秒）
# -m : 锁定内存，防止页面交换
# -n : 使用 clock_nanosleep
# -p 99 : 实时优先级 99
# -i 1000 : 间隔 1000 微秒
# 多核测试：4个线程，分别绑定到 CPU 0-3
cyclictest -l 60000 -m -n -p 99 -i 1000 -t 4 -a 0-3
# 输出直方图：-h 参数指定直方图桶数
cyclictest -l 60000 -m -n -p 99 -i 1000 -h 200
输出解读：Cyclictest 运行结束后会输出类似以下内容：
其中 T 为线程 ID，P 为优先级，I 为间隔，Min/Act/Avg/Max 分别为最小/当前/平均/最大延迟（单位 μs）。
T: 0 (12345) P: 99 I: 1000 Min: 2 Act: 5 Avg: 4 Max: 87其中 T 为线程 ID，P 为优先级，I 为间隔，Min/Act/Avg/Max 分别为最小/当前/平均/最大延迟（单位 μs）。
4.6 典型应用场景
- 内核实时性基线评估：在未调优的通用内核上运行，获取基准延迟数据。
- PREEMPT_RT 补丁效果验证：对比打补丁前后的最大延迟和抖动改善。
- 中断亲和性调优：通过绑定不同 CPU 核心，观察延迟变化。
- 电源管理策略影响分析：对比 C1/C2/C3 状态下的延迟差异。
- CPU 隔离 (isolcpus) 效果验证：隔离核心与非隔离核心的延迟对比。
- 系统负载压力测试：在 CPU/IO/内存压力下运行，评估系统抗干扰能力。
重要提醒：Cyclictest 测量的是用户空间线程的调度延迟，不直接测量中断响应延迟。对于硬实时系统，建议同时使用
hwlatdetect 或 ftrace 的 irqsoff/preemptoff tracer 来测量内核中的中断关闭时间和抢占关闭时间。