文件与目录操作：使用os、shutil、pathlib实现文件批量处理、目录遍历、文件监控与备份

在自动化运维的日常工作中，文件与目录操作是最基础也最高频的任务。无论是清理过期日志、归档业务数据、同步多节点配置，还是监控关键文件的变更，都需要一套高效、健壮的文件处理能力。Python 标准库中的 os、shutil 和 pathlib 三个模块，分别从底层系统调用、高级文件操作和面向对象路径抽象三个维度，构成了文件自动化处理的铁三角。本章将深入剖析这三个模块的核心用法，并结合批量重命名、目录树遍历、文件变更监控与增量备份四个实战场景，帮助学员建立一套完整的文件处理知识体系。

上图展示了本章的知识体系。三个模块各司其职：os 提供底层系统调用，shutil 封装高级文件操作，pathlib 则提供更现代的面向对象路径处理方式。在实际运维中，三者往往配合使用，例如用 pathlib 构建路径，用 os.walk 遍历目录，再用 shutil 完成复制或移动。下面我们逐一深入。

3.1 核心模块原理与选型判断

3.1.1 os 模块：系统级文件操作的基石

os 模块是 Python 与操作系统交互的底层接口，它直接调用系统调用（如 stat、rename、mkdir 等），因此执行效率最高，但需要开发者自行处理路径拼接、异常判断等细节。在自动化运维中，os 模块最常用的功能包括：路径拼接（os.path.join）、目录创建（os.makedirs）、文件重命名/删除（os.rename/os.remove）、文件属性获取（os.stat）以及目录遍历（os.walk）。

判断何时使用 os 模块，可以参考以下标准：当需要直接操作文件描述符、获取 inode 信息、处理环境变量或执行与平台相关的系统调用时，os 是唯一选择。例如，要判断一个文件是否被占用，可以通过 os.rename 是否抛出 PermissionError 来间接判断。

3.1.2 shutil 模块：高级文件操作的瑞士军刀

shutil 模块建立在 os 之上，提供了更高级的文件操作抽象。它最核心的价值在于：跨平台的文件复制、移动、删除和归档。例如 shutil.copy2 会保留文件的元数据（修改时间、权限等），shutil.copytree 可以递归复制整个目录树，shutil.rmtree 则能安全地删除非空目录。此外，shutil.disk_usage 可以获取磁盘分区使用情况，shutil.make_archive 能直接创建 zip 或 tar 格式的压缩包。

在运维场景中，shutil 是备份脚本的核心依赖。例如，将应用目录打包为带时间戳的 tar.gz 文件，只需一行 shutil.make_archive(base_name, 'gztar', root_dir) 即可完成。但需要注意，shutil 的复制操作是非原子性的，如果目标文件已存在，默认会覆盖，因此需要提前做好备份或使用 os.replace 进行原子替换。

3.1.3 pathlib 模块：面向对象的路径处理新范式

pathlib 是 Python 3.4+ 引入的模块，它用 Path 对象替代传统的字符串路径操作。其核心优势在于：路径拼接使用 / 运算符，代码更直观；内置 glob 方法支持模式匹配；read_text/write_text 简化文件读写；resolve() 方法可以解析符号链接和相对路径。在自动化运维中，pathlib 特别适合需要频繁进行路径判断、文件筛选和批量处理的场景。

例如，要找出某个目录下所有大于 100MB 的 .log 文件，使用 pathlib 可以这样写：

from pathlib import Path
base_dir = Path("/var/log/app")
large_logs = [p for p in base_dir.rglob("*.log") if p.stat().st_size > 100 * 1024 * 1024]

这种写法比传统的 os.path.join + os.walk 组合简洁得多，且可读性更强。

3.2 批量文件处理实战：重命名与格式转换

3.2.1 批量重命名的标准流程

批量重命名是运维中最常见的需求之一，例如将服务器上的日志文件按日期重命名，或者将上传的图片文件统一添加前缀。一个健壮的批量重命名脚本应遵循以下流程：① 使用 pathlib 收集目标文件列表；② 通过正则表达式或字符串操作生成新文件名；③ 先模拟打印将要执行的操作；④ 使用 os.rename 或 Path.rename 执行重命名；⑤ 捕获异常并记录日志。

以下是一个将 access.log.20240101 格式重命名为 2024-01-01_access.log 的示例：

from pathlib import Path
import re

log_dir = Path("/var/log/nginx")
for f in log_dir.glob("access.log.*"):
    # 提取日期部分
    m = re.search(r"access\.log\.(\d{4})(\d{2})(\d{2})", f.name)
    if m:
        new_name = f"{m.group(1)}-{m.group(2)}-{m.group(3)}_access.log"
        new_path = f.with_name(new_name)
        print(f"将重命名: {f.name} -> {new_name}")
        # 实际执行时取消下面注释
        # f.rename(new_path)

3.2.2 批量格式转换与内容替换

除了重命名，批量内容替换也是高频需求。例如，需要将配置目录下所有 .conf 文件中的旧 IP 地址替换为新 IP。使用 pathlib 可以轻松实现：

from pathlib import Path

conf_dir = Path("/etc/myapp")
old_ip, new_ip = "192.168.1.100", "192.168.2.200"

for conf in conf_dir.glob("*.conf"):
    content = conf.read_text(encoding="utf-8")
    if old_ip in content:
        new_content = content.replace(old_ip, new_ip)
        conf.write_text(new_content, encoding="utf-8")
        print(f"已更新: {conf.name}")

这种操作虽然简单，但需要注意编码问题。生产环境中的配置文件可能是 UTF-8、GBK 或 Latin-1 编码，建议在读取时先尝试 UTF-8，失败后回退到其他编码，或者使用 chardet 库自动检测。

3.3 目录遍历与文件筛选

3.3.1 os.walk 与 pathlib.rglob 的对比

目录遍历是文件监控、备份、清理等任务的基础。os.walk 是传统方案，它返回三元组，允许在遍历过程中修改 dirnames 列表来剪枝。而 pathlib.rglob 更简洁，直接返回匹配的 Path 对象列表，但无法在遍历过程中动态剪枝（除非使用 os.walk 配合 pathlib 转换）。

以下是一个使用 os.walk 查找所有超过 7 天未访问的临时文件的示例：

import os
import time
from pathlib import Path

tmp_root = "/tmp"
cutoff = time.time() - 7 * 86400  # 7天前的时间戳

for dirpath, dirnames, filenames in os.walk(tmp_root):
    # 跳过隐藏目录
    dirnames[:] = [d for d in dirnames if not d.startswith(".")]
    for fname in filenames:
        fpath = os.path.join(dirpath, fname)
        try:
            mtime = os.path.getmtime(fpath)
            if mtime < cutoff:
                print(f"过期文件: {fpath}")
        except OSError:
            continue

3.3.2 文件筛选的工程实践

在实际运维中，文件筛选往往需要组合多个条件：文件大小、修改时间、扩展名、文件所有者等。建议将筛选逻辑封装为独立的函数，便于测试和复用。例如：

from pathlib import Path

def filter_files(base_dir: Path, pattern: str, min_size: int = 0, max_days: int = 30):
    """筛选文件：匹配pattern、大于min_size字节、在max_days天内修改"""
    import time
    cutoff = time.time() - max_days * 86400
    result = []
    for p in base_dir.rglob(pattern):
        if p.is_file():
            stat = p.stat()
            if stat.st_size >= min_size and stat.st_mtime >= cutoff:
                result.append(p)
    return result

# 使用示例：查找 /data/logs 下所有 .log 文件，大于10MB，最近7天修改
large_recent_logs = filter_files(Path("/data/logs"), "*.log", min_size=10*1024*1024, max_days=7)

3.4 文件监控与备份策略

3.4.1 基于轮询的文件监控实现

文件监控通常有两种实现方式：轮询（Polling）和事件驱动（如 inotify）。在纯 Python 标准库范围内，轮询是最直接的方式。其原理是定期扫描目标目录，记录每个文件的哈希值或修改时间，与上一次快照对比，从而发现新增、修改、删除的文件。

以下是一个简单的文件监控脚本框架：

import hashlib
import time
from pathlib import Path

def file_hash(path: Path, chunk_size=8192):
    """计算文件SHA-256哈希"""
    h = hashlib.sha256()
    with open(path, "rb") as f:
        while chunk := f.read(chunk_size):
            h.update(chunk)
    return h.hexdigest()

def snapshot(directory: Path):
    """生成目录快照：{相对路径: (文件大小, 修改时间, 哈希)}"""
    snap = {}
    for p in directory.rglob("*"):
        if p.is_file():
            stat = p.stat()
            snap[str(p.relative_to(directory))] = (stat.st_size, stat.st_mtime, file_hash(p))
    return snap

# 监控循环（每60秒执行一次）
watch_dir = Path("/data/important")
prev_snap = snapshot(watch_dir)
while True:
    time.sleep(60)
    curr_snap = snapshot(watch_dir)
    # 对比快照，输出变更
    for key in curr_snap:
        if key not in prev_snap:
            print(f"[新增] {key}")
        elif curr_snap[key] != prev_snap[key]:
            print(f"[修改] {key}")
    for key in prev_snap:
        if key not in curr_snap:
            print(f"[删除] {key}")
    prev_snap = curr_snap

3.4.2 增量备份方案设计与案例拆解

备份是运维的保底手段。一个完整的备份方案应包含全量备份和增量备份两种模式。全量备份定期执行（如每周日），增量备份每天执行，只备份自上次备份以来发生变化或新增的文件。

以下是一个基于时间戳的增量备份脚本核心逻辑：

from pathlib import Path
import shutil
import time

def incremental_backup(src_dir: Path, backup_root: Path, last_backup_time: float):
    """增量备份：将 src_dir 中修改时间晚于 last_backup_time 的文件复制到 backup_root"""
    backup_root.mkdir(parents=True, exist_ok=True)
    copied_count = 0
    for src_file in src_dir.rglob("*"):
        if src_file.is_file() and src_file.stat().st_mtime > last_backup_time:
            # 计算相对路径，保持目录结构
            rel_path = src_file.relative_to(src_dir)
            dest_file = backup_root / rel_path
            dest_file.parent.mkdir(parents=True, exist_ok=True)
            shutil.copy2(src_file, dest_file)  # copy2 保留元数据
            copied_count += 1
    return copied_count

# 使用示例
src = Path("/var/www/html")
backup_base = Path("/backup/web")
last_time = time.time() - 86400  # 假设上次备份是24小时前
count = incremental_backup(src, backup_base, last_time)
print(f"本次增量备份完成，共复制 {count} 个文件")

案例闭环：某电商平台需要每日备份订单数据库导出文件（约 500 个 CSV，总大小 2GB）。初始方案是每天全量复制，耗时 15 分钟，且占用大量磁盘。优化后采用增量备份：周一执行全量备份，周二至周日执行增量备份。通过对比文件修改时间，平均每天只需复制 30-50 个变更文件，耗时缩短至 2 分钟以内。同时，备份脚本增加了 shutil.disk_usage 检查，当磁盘使用率超过 85% 时自动发送告警邮件。复盘发现，增量备份的代价是恢复时需要依次应用全量+所有增量，恢复时间从 15 分钟增加到 40 分钟。因此，最终方案调整为：每周日全量 + 每日增量 + 每月第一个周日做一次全量合并归档，平衡了备份速度和恢复效率。

3.5 常见误区与总结复盘

3.5.1 路径拼接的跨平台陷阱

在 Windows 上，路径分隔符是反斜杠 \，而在 Linux/macOS 上是正斜杠 /。使用字符串拼接路径（如 base_dir + "/" + filename）在 Windows 上会出错。正确的做法是使用 os.path.join 或 pathlib 的 / 运算符。此外，pathlib.Path 在 Windows 上会自动处理分隔符转换，但在 Linux 上如果硬编码反斜杠，会导致文件找不到。

3.5.2 文件操作的异常处理与幂等性

文件操作最常见的异常包括：FileNotFoundError（文件不存在）、PermissionError（权限不足）、IsADirectoryError（期望文件但遇到目录）。一个健壮的脚本必须捕获这些异常并给出明确提示。同时，脚本应具备幂等性——重复执行不会产生副作用。例如，创建目录时使用 exist_ok=True，复制文件前先检查目标是否存在，删除文件前确认路径是文件而非目录。

3.5.3 性能与安全的平衡

当处理海量小文件（如缓存目录）时，os.walk 的性能可能成为瓶颈。此时可以考虑使用 os.scandir 或 concurrent.futures 进行并行处理。但并行处理会带来文件竞争问题，需要确保不同线程/进程操作不同的文件。另外，在备份或删除操作中，务必先检查路径是否在预期范围内，避免因符号链接或路径穿越导致误删系统文件。建议使用 Path.resolve() 解析真实路径后再操作。

总结本章，os、shutil、pathlib 三者构成了 Python 文件自动化处理的完整工具链。掌握它们的核心 API 和适用场景，理解批量处理、目录遍历、文件监控与备份的通用模式，是编写可靠运维脚本的关键。在实际项目中，建议优先使用 pathlib 进行路径操作，用 shutil 完成复制移动，用 os 处理系统级调用，并始终将异常处理和日志记录放在首位。