第3章 测试框架选型与配置

3.1 框架选型核心维度

在离线场景下，测试框架的选型不再仅关注执行速度与断言语法，而需要围绕 环境隔离能力、依赖模拟成本、并发与资源管理 以及 日志与可观测性 四个维度进行权衡。下表从离线适配视角对三个主流框架进行横向对比：

对比维度	pytest	unittest	TestNG (Java)
社区生态与插件	极丰富，pytest-timeout / pytest-xdist / pytest-mock 等可直接用于离线模拟	标准库自带，第三方插件较少，需自行封装 mock 逻辑	依赖 Maven/Gradle 插件体系，离线场景需提前下载全量依赖
离线模拟能力	fixture 机制天然支持 conftest 分层隔离，可全局控制 DNS/网络/时间戳切换	依靠 setUp/tearDown 层级传递，离线状态管理代码重复度高	支持 @BeforeClass / @AfterClass，但参数化与依赖注入需要额外库（如 TestNG 自身的 DataProvider）
参数化与数据驱动	@pytest.mark.parametrize 原生支持笛卡尔积，适合离线 CSV/JSON 数据源	需子类化或使用 subTest，可读性较差	@DataProvider 返回 Object[][]，类型安全但代码量较大
异常与超时管理	pytest-timeout 装饰器可确保离线场景下测试不会因网络挂起而阻塞	需自行 threading.Timer 实现超时，容易引入竞态条件	TestNG 内置 timeOut 属性，支持线程级超时控制
日志与诊断截断	–tb=short 配合 caplog fixture 可精准截断离线上下文	无内置日志捕获，需自行重写 assert 方法	reporter.log() 与 ITestListener 可定制，但配置复杂
执行顺序与并发	pytest-ordering 控制顺序，pytest-xdist 并行需注意离线资源互斥	默认按字典序，并行需三方库支持	内置 parallel=”methods” 与依赖组，更适合大型离线套件

3.2 离线场景适配关键技术点

无论选择哪个框架，离线测试均需覆盖以下四个适配层：

• 网络隔离：通过猴子补丁或代理模式将 socket / requests / urllib 转向本地回环或 mock 响应。
• 时间冻结：使用 freezegun 或 time-mock 固定 datetime.now() 返回值，避免测试结果因运行时间不同而波动。
• 文件系统沙盒：将临时目录挂载至内存文件系统（如 tmpfs 或 pytest 的 tmp_path fixture），防止测试间数据残留。
• 日志抑制与结构化：离线模式下关闭所有外部日志推送，统一转为本地结构化文件，便于故障复现。

3.3 框架级配置文件管理

离线场景要求所有外部服务地址、凭据、超时阈值等配置必须脱离运行时环境，静态内置在测试套件内部。推荐采用 profiles（离线 / 线上 / 预发布）隔离策略，通过钩子或环境变量切换加载路径：

3.3.1 多环境 Profile 方案

以 pytest 为例，在 pytest.ini 或 pyproject.toml 中声明配置加载逻辑：

# pyproject.toml 片段
[tool.pytest.ini_options]
addopts = "-p conftest"
testpaths = ["tests"]
filterwarnings = ["ignore::DeprecationWarning"]

# conftest.py 中根据 TEST_PROFILE 环境变量加载对应 YAML
import os
import yaml

def pytest_configure(config):
    profile = os.getenv("TEST_PROFILE", "offline")
    config_path = f"config/{profile}/service_endpoints.yaml"
    with open(config_path) as f:
        endpoints = yaml.safe_load(f)
    config.offline_endpoints = endpoints

3.3.2 离线 YAML 配置模板示例

# config/offline/service_endpoints.yaml
database:
  host: "127.0.0.1"
  port: 3306
  user: "test_user"
  password: "test_pass"        # 仅用于本地沙盒
  connect_timeout: 2            # 离线时快速失败

external_api:
  base_url: "http://localhost:8089/mock"
  retry_count: 0                # 离线场景不重试
  ssl_verify: false

cache:
  type: "redis"
  host: "127.0.0.1"
  port: 6379

3.4 测试框架选型决策流程

下图展示了从项目初始化到离线测试套件构建的完整决策路径，以及配置文件的分层加载策略：

3.5 框架级配置与命令示例

3.5.1 pytest 离线模式完整配置

# pytest.ini (或 pyproject.toml 的 [tool.pytest.ini_options])
[pytest]
minversion = 7.0
testpaths = tests/offline
norecursedirs = .git venv __pycache__
addopts =
    --strict-markers
    --timeout=60
    --timeout-method=thread
    -p no:cacheprovider
    -o log_cli=true
    -o log_cli_level=WARNING

markers =
    offline: 标记测试为离线场景，自动加载 mock 环境
    network: 需要网络访问，在离线模式下自动跳过
nonetwork: 强制禁止任何网络 I/O

3.5.2 TestNG 离线 Suite 配置示例

<!DOCTYPE suite SYSTEM "https://testng.org/testng-1.0.dtd">
<suite name="OfflineTestSuite" parallel="methods" thread-count="4">
    <parameter name="mode" value="offline"/>
    <parameter name="config.base" value="classpath:config/offline/"/>
    <parameter name="timeout.global" value="5000"/>

    <test name="MockServiceTest">
        <classes>
            <class name="com.example.offline.DatabaseMockTest"/>
            <class name="com.example.offline.CacheOfflineTest"/>
        </classes>
    </test>
</suite>

3.5.3 命令行执行离线测试套件

# Python 环境
TEST_PROFILE=offline pytest tests/offline/ -v --tb=short -rs

# Java 环境 (Maven + TestNG)
mvn test -DsuiteXmlFile=testng-offline.xml -Dtest.profile=offline

3.6 常见错误与稳定性优化

• 错误 1： 离线配置中的超时时间与线上一致，导致测试因等待网络超时而长时间挂起。
  解决： 离线配置中所有网络相关 timeout 应缩减至 2~5 秒，并配合 --timeout=30 的框架级兜底。
• 错误 2： 不同测试类共用同一全局 fixture 修改 DNS 映射后未清理，污染后续测试。
  解决： 在 pytest 中对全局 mock 使用 yield 并在 teardown 中恢复原始值；TestNG 使用 @AfterSuite 统一重置。
• 错误 3： 日志文件路径硬编码在测试代码中，并行执行时相互覆盖。
  解决： 采用 tmp_path (pytest) 或 @Rule TemporaryFolder (JUnit/TestNG) 生成唯一路径。
• 稳定性优化： 使用 pytest-xdist 并发执行离线测试时，务必在 pytest.ini 中添加 --dist loadscope，确保同一模块内的测试在同一 worker 中执行，减少 mock 隔离冲突。