3. 实时系统与延迟基础
在 KVM 虚拟化环境中讨论“实时性能”，首先要澄清一个常见误解：实时并不等于快。实时系统的核心不是平均速度，而是可预测性——系统能否在确定的时间界限内完成响应。一个平均延迟只有 50 微秒但偶尔飙到 20 毫秒的系统，对实时任务而言可能比平均延迟 200 微秒但从不超 500 微秒的系统更糟糕。理解这一点，是后续所有 KVM 延迟优化的思想基础。
一、实时性的定义与硬实时、软实时
实时性（Real-time）指系统对外部事件作出响应的时间必须满足预定义的时限约束。根据违反时限的后果，通常分为三类：
- 硬实时（Hard Real-time）：任何一次超时都视为系统失败，可能造成安全事故或不可逆损失。例如工业运动控制、汽车线控刹车、飞行控制系统。这类系统要求最坏情况执行时间（WCET）严格可证。
- 固实时（Firm Real-time）：偶尔超时结果失效，但不会造成灾难性后果，超时的数据被丢弃。例如音视频帧的实时编码。
- 软实时（Soft Real-time）：超时只导致服务质量下降，系统仍可继续运行。例如视频会议、在线游戏、交互式桌面。KVM 上运行的多数业务属于软实时或固实时范畴。
在 KVM 场景中，虚拟机内的实时任务实际运行在“宿主 Linux + KVM + 客户机”三层调度之上，其确定性天然弱于裸机。因此优化目标通常是：把最坏延迟（Worst-case Latency）压到业务可接受阈值以内，并降低抖动，而不是追求理论上的绝对硬实时。
二、延迟的组成：从事件到响应的完整链路
一次实时响应延迟并非单一环节，而是多个阶段叠加的结果。以 KVM 中一个中断驱动的实时任务为例，其延迟可拆解为：
- 硬件中断延迟：设备产生中断到 CPU 开始执行中断处理程序的时间，受中断屏蔽、CPU 频率与缓存影响。
- 宿主中断处理与注入延迟：物理中断在宿主内核处理后，通过虚拟中断控制器（如虚拟 LAPIC、irqfd/eventfd）注入客户机的时间。
- 客户机中断响应延迟：客户机内核从中断入口到唤醒目标任务的时间，受客户机中断屏蔽与调度影响。
- 调度延迟：任务就绪到真正获得 vCPU 执行的时间，包含宿主 vCPU 调度与客户机内部调度两级。
- 执行延迟：任务实际处理事件并产生响应的时间。
这些环节中，调度延迟和中断注入延迟通常是 KVM 抖动的主要来源。下图展示了从物理事件到客户机响应的完整信号链与各阶段延迟构成：
三、抖动、吞吐量与确定性指标
抖动（Jitter）是实时系统最关键的隐性指标，指同一操作多次执行时延迟的波动程度。常用统计量包括：
- 最大延迟（Max Latency）：最坏情况，决定硬实时是否可满足。
- P99 / P99.9 延迟：尾部延迟，反映偶发卡顿，对音视频与交易系统尤为重要。
- 标准差与峰峰值：衡量整体波动幅度。
吞吐量（Throughput）指单位时间内完成的任务或处理的数据量。实时系统中吞吐量与延迟常存在权衡：批量处理可提升吞吐量，却会增大单次响应延迟。KVM 中通过 vCPU 绑核、中断亲和性、CPU 隔离等手段，往往是在牺牲部分吞吐量的前提下换取更低的延迟与抖动。
确定性（Determinism）是实时系统的终极追求，即系统行为在相同输入下可重复、可预测。衡量确定性的核心不是平均值，而是最坏情况。下表汇总了关键指标及其含义：
| 指标 | 含义 | KVM 中的典型影响因素 |
|---|---|---|
| 平均延迟 | 多次响应的算术平均 | 整体负载、CPU 频率 |
| 最大延迟 | 最坏一次响应时间 | vCPU 抢占、中断风暴、内存回收 |
| P99 / P99.9 | 尾部延迟分位值 | 调度抖动、NUMA 跨节点访问 |
| 抖动 | 延迟波动范围 | 宿主调度器、CPU 隔离、频率调节 |
| 吞吐量 | 单位时间处理量 | vCPU 数量、I/O 路径、批量策略 |
| 确定性 | 行为可重复程度 | 最坏路径是否可控 |
四、测量方法与实操场景
测量是优化的前提。KVM 实时延迟测量通常分为三类：基准测试、追踪分析和在线监控。
最常用的基准工具是 cyclictest，它通过高精度定时器反复测量“设定唤醒时间”与“实际唤醒时间”之差，直接反映调度延迟与抖动：
# 在客户机内运行，测量 8 个线程、优先级 80、10000 次循环
cyclictest -t8 -p80 -n -i1000 -l10000 -m -h400
# 输出示例
T: 0 ( 1234) P:80 I:1000 C: 10000 Min: 8 Act: 12 Avg: 14 Max: 96
T: 1 ( 1235) P:80 I:1000 C: 10000 Min: 9 Act: 15 Avg: 16 Max: 142
其中 Max 列就是最坏延迟，是判断实时性的关键。若 Max 远大于 Avg，说明系统存在明显抖动，需要进一步排查。
追踪分析可使用 ftrace 的 irqsoff 与 preemptoff 追踪器，定位中断关闭或抢占关闭导致的延迟尖峰：
# 宿主侧开启中断关闭延迟追踪
echo irqsoff > /sys/kernel/debug/tracing/current_tracer
echo 1 > /sys/kernel/debug/tracing/tracing_on
# 运行负载后查看最大延迟路径
cat /sys/kernel/debug/tracing/trace
在线监控则可通过 perf sched、bpftrace 或 KVM 自带的 kvm_stat 观察 vCPU 退出、中断注入等事件频率，辅助判断抖动来源。
五、常见误区与复盘
误区二：认为 KVM 无法做实时。通过 PREEMPT_RT 宿主内核、CPU 隔离、vCPU 绑核与中断亲和性，KVM 可达到数十微秒级的可控延迟，满足多数软实时与部分固实时需求。
误区三：忽略抖动。低平均延迟但高抖动，对实时任务同样危险，确定性比速度更重要。
误区四：在虚拟化层盲目调参。应先测量、定位瓶颈阶段，再针对性优化，否则容易引入新的不确定性。
复盘一个典型场景：某客户机运行音频采集任务，cyclictest 显示 Avg 为 15 微秒，但 Max 达到 800 微秒，音频偶发爆音。排查发现宿主侧 vCPU 与其它高负载任务共享物理核，且未做 CPU 隔离。通过 isolcpus 隔离物理核、将 vCPU 绑定到隔离核、并设置中断亲和性后，Max 降至 60 微秒以内，爆音消失。这个案例说明：实时优化的核心是消除最坏路径上的不确定性，而非提升平均性能。
掌握实时性定义、延迟组成、抖动与确定性指标，并建立“测量—定位—优化—复测”的闭环，是后续 KVM 延迟优化实践的方法论基础。