4. CPU 节流 (Throttling) 现象：通过 /proc/stat 和 cgroup 统计识别节流

CPU 节流是容器运行时最常见的隐性性能瓶颈之一。当容器进程的 CPU 使用量超过其 cgroup 所设定的 quota（配额）时，CFS（完全公平调度器）会强制限制该进程的运行，使其进入“节流”状态。这种状态通常不会导致进程崩溃，但会引发严重的延迟抖动和吞吐量下降。本节将深入讲解如何通过系统级和 cgroup 级指标，精准识别并量化 CPU 节流现象。

4.1 节流产生的底层机制

在 Linux CFS 中，CPU 配额通过 cpu.cfs_period_us 和 cpu.cfs_quota_us 两个参数控制。例如，设置 quota=50000、period=100000 意味着容器在每个 100ms 周期内最多只能使用 50ms 的 CPU 时间（即 0.5 核）。如果容器内的进程在该周期内消耗超过 50ms，剩余的时间将被强制“节流”，直到下一个周期开始。

4.2 通过 /proc/stat 识别系统级节流

/proc/stat 文件提供了系统全局的 CPU 时间统计。虽然它不直接显示容器级别的节流，但通过观察 steal 和 guest 时间，可以间接判断宿主机是否存在资源超分导致的节流风险。

使用以下命令可以快速查看系统 CPU 时间分布：

cat /proc/stat | grep '^cpu '
# 输出示例：
# cpu  123456 789 123456 7890123 0 0 0 0 0 0

4.3 通过 cgroup 统计精准识别节流

要精确判断容器是否发生 CPU 节流，必须读取容器所在 cgroup 的 CPU 控制器统计文件。对于使用 cgroup v1 的系统，关键文件是 cpu.stat；对于 cgroup v2，则是 cpu.stat 文件（路径不同但字段类似）。

4.3.1 cgroup v1 下的节流指标

容器 cgroup 路径通常位于 /sys/fs/cgroup/cpu/docker/<container_id>/ 或 /sys/fs/cgroup/cpu/kubepods/...。核心文件为 cpu.stat：

cat /sys/fs/cgroup/cpu/docker/<container_id>/cpu.stat
# 输出示例：
nr_periods 1000
nr_throttled 150
throttled_time 4500000000

节流率计算公式：

throttle_ratio = nr_throttled / nr_periods * 100%
# 示例：150 / 1000 * 100% = 15%

当节流率超过 5% 时，通常意味着 CPU 配额设置过紧，需要调整。

4.3.2 cgroup v2 下的节流指标

cgroup v2 的路径为 /sys/fs/cgroup/<container_path>/cpu.stat，内容略有不同：

cat /sys/fs/cgroup/<container_path>/cpu.stat
# 输出示例：
usage_usec 123456789
user_usec 100000000
system_usec 23456789
nr_periods 1000
nr_throttled 150
throttled_usec 4500000

4.4 节流识别流程图

以下 SVG 展示了从系统指标到 cgroup 指标的完整节流识别路径：

4.5 实战：编写节流检测脚本

以下 Python 脚本可以实时监控容器的 CPU 节流情况，适用于生产环境快速定位：

#!/usr/bin/env python3
import time
import os

CGROUP_PATH = "/sys/fs/cgroup/cpu/docker/<container_id>/cpu.stat"

def read_cpu_stat(path):
    stats = {}
    with open(path, 'r') as f:
        for line in f:
            key, value = line.strip().split()
            stats[key] = int(value)
    return stats

def monitor_throttle(interval=5):
    prev = read_cpu_stat(CGROUP_PATH)
    while True:
        time.sleep(interval)
        curr = read_cpu_stat(CGROUP_PATH)
        period_delta = curr['nr_periods'] - prev['nr_periods']
        throttle_delta = curr['nr_throttled'] - prev['nr_throttled']
        time_delta = curr['throttled_time'] - prev['throttled_time']

        if period_delta > 0:
            ratio = (throttle_delta / period_delta) * 100
            print(f"[{time.strftime('%H:%M:%S')}] "
                  f"节流率: {ratio:.2f}% | "
                  f"节流次数: {throttle_delta} | "
                  f"节流时间: {time_delta / 1e9:.3f}s")
        prev = curr

if __name__ == "__main__":
    monitor_throttle()

4.6 节流与 CPU 使用率的误区

很多工程师误以为“CPU 使用率未达到 100% 就不会节流”，这是一个常见误区。以下表格澄清了关键区别：

核心结论： 即使 top 显示的 CPU 使用率远低于 100%，只要容器在单个周期内的瞬时消耗超过 quota，就会触发节流。因此，nr_throttled 是比 CPU 使用率更敏感的节流指标。

4.7 快速定位命令汇总

以下命令可用于快速收集节流证据：

# 1. 查看容器 cgroup 路径（以 Docker 为例）
docker inspect <container_id> | jq '.[0].HostsPath'

# 2. 直接读取 cpu.stat（cgroup v1）
cat /sys/fs/cgroup/cpu/docker/<container_id>/cpu.stat

# 3. 使用 systemd-cgtop 查看 cgroup 级别的 CPU 统计
systemd-cgtop -d 2

# 4. 使用 cadvisor 或 prometheus 指标（生产环境）
# 指标名：container_cpu_cfs_throttled_seconds_total